耳语音说话人识别是指根据包含在耳语音中的同说话人有关的信息来自动识别说话人,可以应用于电话银行、特殊场合的身份确认、公众场合下的通讯和国家安全的某些特殊需要等方面。它是一个较新的课题,有许多问题有待解决。因为耳语音发音方式与正常音不同,所以两者在说话人识别上有着很大的差异。本文建立了基于GMM模型的说话人识别系统,通过研究文本无关的说话人辨认,比较了耳语音和正常音的区别并通过特征的修正优化了耳语音说话人识别系统。本文的工作主要体现在以下方面:建立了22人的耳语音库和正常语音库,使用Mel倒谱系数(MFCC)、线性预测倒谱系数(LPCC)、差分Mel倒谱系数(ΔMFCC)、差分线性预测系数(ΔLPCC)和组合特征MFCC+LPCC作为特征参数,比较了正常音和耳语音的说话人识别效果。利用耳语音库和正常语音库,本文比较了MFCC维数的变化对正常音和耳语音的说话人识别的影响。实验中正常音的说话人识别率在16维最高,而耳语音的说话人识别率在50维最高。提出了一种MFCC的改进方法,分频段完成滤波器组的设计。将滤波器组的设计任务分配给各频段独立完成,使改进后的MFCC能更好的表现信号的局部频率特性。实验表明,改进后的MFCC可以有效地提升耳语音说话人识别系统的性能。