说话人识别技术被认为是最自然的生物认证技术,它是一项根据语音中反映的说话人生理和行为特征的语音参数,自动识别说话人身份的技术。传统说话人识别系统当使用者在平静状态下训练、测试时,已取得了非常出色的识别性能,但是,当说话人在不同情感状态间改变时,因说话人的态度发生改变,语音急剧变化,进而识别率会下降。在详细分析情感语音特性和情感语音研究方面的最新进展,特别是如何提高情感影响时说话人识别性能研究现状的基础上,本文针对如何更好的处理含有情感因素的说话人语音上进行了大量的尝试,提出了相关的模型和算法。本文的主要工作集中在以下四个方面: 第一,对情感语音特征和在情感语音影响下提高说话人识别性能的研究工作做了详细调研工作,并了解情感语音数据库方面的现状,针对现阶段缺少多说话人录制的中文情感语音数据库,设计、采集并建立了一个可用于情感语音分析和说话人识别的语音数据库MASC@CCNT。 第二,选择用于情感语音特性分析的特征,从基音频率构造、发音持续时间比较、元音共振峰分析、能量分析四个方面对一个中文情感语音库(MASC@CCNT)和一个英文情感语音库(EPST)上的语音信号进行详细的实验分析,并通过和不带情感的中性语音信号比较,找出了不同情感信号特征的分布规律,并对比中西语音库上的分析结果,得出中西方在表达情感方式上的差异,总体来说,东方人在表达情感时语音变化不如西方人激烈,相对含蓄,而西方人情绪变化时会采用外露、夸张的表达方式。 第三,在EPST情感语音库上,先通过声学特征统计量的分析,包括基音频率平均值(Mean Pitch)、基频动态范围(Pitch Range)、基频方差(Pitch Variance)、基频歪斜度(Pitch Skewness)和基频动态范围扩展方式(Pitch Expansion),对14种情感进行了分类,将具有相近特性的情感类别归于同一个组,然后为每个说话人的中性语音中分别加入很小量的情感信息,按照情感组别进行说话人模型训练。该方法用于实际的说话人识别系统中,在情感先验知识不足的情况下可进行结构化训练并测试,极大地提高了说话人识别系统在情感语音影响时的性能。 第四,通过讨论用于说话人识别的传统倒谱特征和基音频率(F0)在说话人处于不同的情感状态时的差异性,本文认为,当说话人情绪发生变化时,基音频率的改变会影响到倒谱特征(MFCC等),这种影响会增加说话人的自身距离(intra-speakerdistance),从而使说话人识别系统的性能降低。本文提出了基于倒谱特征线性情感补偿的说话人识别方法,实验结果表明,这种特征补偿方法能够使倒谱特征更能描述说话人个性信息,从而提高说话人识别系统的性能,使得其识别率升高。 本文得到以下基金资助:国家自然科学基金(60273059)、国家杰出青年科学基金(60525202)、教育部“跨世纪优秀人才培养计划”专项基金(NCET-04-0545)、国家自然科学基金重点项目(60533040)。