在过去的几十年中,高斯混合模型广泛且成功的被用于说话人识别的研究中。为了处理动态增长的数据集和GMM初始化问题,以及在少量训练数据下得到高效的学习结果,本文提出一种自适应增量学习方法,称为增量学习高斯混合模型。我们将这种基于自组织增量学习神经网络(Self Organization Incremental Learning Neural Network, SOINN)和高斯混合模型的方法运用于说话人识别中。SOINN能不仅够自适应的给出合理的初始聚类,还能给混合模型提供合适的混合度。在说话人识别系统中,首先由SOINN和期望最大化算法来进行初次训练,形成一个初始模型,然后通过增量学习不断地丰富和优化模型。实验的语料库为2006年的第一届语音分离挑战赛数据库。实验结果表明增量高斯混合模型在大多数情况下优于传统高斯混合模型。在系统结构方面,本文提出一个增量学习说话人识别系统,系统中包含四个模块,分别是特征提取模块,训练模块,识别模块和增量学习模块。在预处理中使用了VAD方法去掉语音段中的静音段,特征提取时使用改进的MFCC系数作为特征参数,在训练时使用SOINN(?)高斯混合模型作为模型方法。本文针对说话人模型的自适应性,可增量学习和鲁棒性做了以下几个方面的努力：(1)在特征提取阶段,为了使语音参数能更加精确地代表说话人的个性语音特征,我们使用了语音活性检测方法。将语音中的静音段去除掉,只留下纯语音段供系统学习和识别,提高语音特征的准确性,提供了能让系统能达到更高识别率的前提条件。在梅尔倒谱系数中使用了动态系数方法,从系数层面提供了一种抗噪方法。(2)在模型训练阶段,使用自组织增量学习神经网络代替K-means方法,给模型提供更好的适应性和准确性,克服了K-means方法需要预先确定模型混合度的缺点,从而让系统更具适应性和推广性。(3)在模型训练完成后,加入增量学习模块,提供一种自适应的增量学习方法,能很好的满足系统增量学习的要求,使系统能适应动态增长的数据集。