语音作为人类日常生活中最重要的交流方式之一,其中蕴含着丰富的情感信息。语音情感识别技术的研究对于提高计算机的智能化和人性化、开发新的人机环境和促进心理学等学科的发展具有重要的现实意义。论文的主要解决问题及难点分析如下:（1）某一情感特征难以精确表达某种情感状态。情感易受说话人的语调、语速、音量、内容等各因素影响,目前大部分情感特征未能充分考虑情感信息的完整体现,何种情感特征能充分表达何种情感状态尚未有十分准确的理论依据,这都严重影响了情感的识别率。（2）如何构建合适的分类机制从而降低易混淆情感状态之间的误识率。某些情感之间表现出比较相似的特性,传统的利用SVM进行语音情感识别只是采用一级分类就将所有情感进行分类,导致易混淆情感之间的误识率较高。（3）DBN网络训练过程中,在建立精确的网络模型基础上,如何缩短训练时间。传统DBN训练中,学习率的大小是不变的。在有效降低目标误差的同时并没有考虑时间效率问题,实时性达不到要求。（4）单模态的语音情感识别采用的情感特征信息比较单一,识别性能和鲁棒性是有限的。在实际应用中,噪声等复杂背景对语音情感识别有着严重的影响。往往通过语音单一模态信息难以精确识别情感类型。本论文的贡献和创新点主要包括如下几点:（1）提出了基于MFCC的多特征融合。本文采用短时能量、基音频率、共振峰频率以及MFCC融合后的特征替代单一情感特征,从而弥补了情感特征匮乏的缺陷。由于融合后特征维数过高,存在无关或冗余特征,本文利用LDA降维方法,去除冗余信息,从而达到提高语音情感识别率的目的。（2）提出了一种多级SVM分类构造算法。由传统方法得出的混淆矩阵,本文引入混淆度的概念,从而提出了一种多级分类构造算法。即先将容易区分的情感分开,然后再对易混淆的情感进行细分类,逐级地判断出待识别语音的情感类型。（3）提出了基于自适应学习率的DBN。本文将动态学习率加入到网络学习过程中。学习率调整的标准是检测权值的修正是否有效减少目标误差,如果减少,可以对其增加一个量,相反如果没有减少,则应该减小学习率的值。（4）提出了语音信号和人脸图像多模态融合。分别提取能反映语音情感和人脸表情的特征,然后采用特征层融合和决策层融合两种多模态信息融合策略来实现多模态情感识别。实验结果表明,融合语音和人脸的情感识别率高于单模态的情感识别率。本文上述提及的研究成果将为语音情感识别的研究领域提供全面的理论参考与支持。