在日常人际交往中,情感一直担任着极为重要的角色。现如今,计算机技术发展到相对成熟的阶段,人工智能的应用使得人们可以与机器进行交互。因此,让机器拥有“情感”或者能理解人类的情感非常重要,也自然成为了如今的一个热门话题。人类经常表达的情感有生气、害怕、高兴、中性、悲伤、惊喜等,而人类表达这些情感时往往涉及很多方面,例如面部表情、发出的声音、肢体语言等。语音信号（人的声音）因为其固有的优势成为情感计算的良好来源,于是便有了语音情感识别（SER）技术的兴起。同样研究语音,被人所熟知的语音识别技术（ASR）,几十年来仍旧是仅仅做到了语音到文字的转换,完全忽略了语音中包含的情感信息。因此,语音情感识别达到成熟时必然会对语音识别技术的进步作出巨大的贡献。语音情感识别系统（SER）主要包含以下三个部分:首先是最开始的对语音数据进行预处理,然后进行语音中各种情感特征的提取,最后利用这些提出来的特征和情感标签进行情感分类器的训练。由于人类在说话过程中会受到自身身体因素和外部环境条件的影响,因此情绪会具有多样性和可变性,可以说语音情感识别的任务困难重重,在现阶段的人工智能水平下非常具有挑战性。研究人员从开始传统特征如MFCC到后来利用神经网络进行深层情感特征提取,已经在识别准确率上拥有了一定的成果。本论文在语音特征提取上不仅考虑传统特征如梅尔倒谱系数（MFCC）,还从中提取一些有用特征如短时能量、基音频率、过零率等进行多特征融合。基于深度神经网络（DNN）技术的发展,本论文提出了一种三层模型的语音情感识别方法,并研究该模型在不同语言的语音下的鲁棒性。该模型不仅能挖掘语音信号的深层情感信息,而且可以从容易混淆的情感中提取出更多鲜明的情感特征。该模型首先通过粗分类得到混淆矩阵,从而计算情感之间的混淆程度,设定阈值来完成决策树结构的构建,然后针对不同的情感组（决策树的叶子结点）训练不同的DNN,来提取用于训练决策树中每个XGBOOST的瓶颈特征。最后,基于本文提出三层模型进行了多个语音情感分类实验以及一些对比实验。该模型首先选取的数据集是中科院情感数据库（CASIA）进行评估。最后,由本文实验结果表明,基于该方法的平均情感识别率分别比浅层特征+XGBOOST和瓶颈特征+XGBOOST分类方法高4.1%和1.6%。实践证明,该方法可以有效地减少情感之间的混淆,从而提高语音情感识别率。本文同时选取了德语数据集（EMO＿DB）和英语数据集（RAVDESS）来进行多语言模型创建,发现不同语言的语音对同种情感有相似的特征。本文提取的所有浅层特征能有效的构建多语言语音情感识别模型,对训练时涉及的语言能有一个良好的识别效果。