语言是人类交流最方便、最快捷的方式,语言中包含的情感信息在交流时发挥着重要作用。让机器像人一样具备说话、思维和情感能力,是人工智能领域一直追求的目标。语音情感识别的研究,将推动这一目标的逐步实现。近年来,深度学习被应用于各个领域,且取得了非常好的效果。深度学习也被成功的应用于语音情感识别领域,主要被用来提取显著的、更为泛化性的情感特征和建立情感分类模型。语音情感识别除了建立合适的数据库外,主要包括特征提取和分类模型两部分,本文主要针对不同类型的特征,用深度学习算法改进分类模型,并提出了一种特征融合算法,主要内容如下:（1）对语音信号分帧提取情感声学特征,分段处理生成段特征,其考虑了语音情感随时间变化的特性。首先使用基于双向长短时记忆单元（Bidirectional Long Short Term Memory,BLSTM）对段特征进行建模,该模型取得了一定的效果。但经研究发现,该模型主要存在以下两个问题:BLSTM只能在时间步上进行局部特征学习,难以学习语音情感信号的全局信息,而语音情感信号是上下文相关的;仅使用BLSTM最后一个时刻的输出编码语音情感信息,会造成一定的信息损失。基于上述问题,本文提出了一种基于SA-BLSTM-ASP（Self Attention-Bidirectional Long Short Term Memory-Attentive Statistics Pooling）网络的语音情感识别模型,通过在BLSTM网络之前加入自注意力机制模块以计算段特征输入序列不同位置之间的相互关系,增强网络学习全局特征的能力;在BLSTM网络输出,使用一种本文提出的结合注意力机制和统计池化的注意力统计池化方法,注意力机制可以关注输入的情感语音信号中更显著的情感片段,统计池化可以关注语音情感信号的长时变化特性,两者结合起来可以增强BLSTM网络提取显著深度段特征的能力,提高语音情感识别系统的性能。（2）对语音信号提取Mel语谱图,其横轴代表时间,纵轴代表频率,针对这一特点,设计一种卷积神经网络结构（Convolutional Neural Network-Global Average Pooling,CNN-GAP）。通过分别在时间轴和频率轴设计较大的卷积核,可以提取Mel语谱图的频率和时间特性,进而提取显著的情感特征,并在最后一层卷积层之后使用全局平均池化代替全连接层,其可以减轻过拟合,提升语音情感识别性能。（3）将SA-BLSTM-ASP网络提取的深度段特征和CNN-GAP网络提取的深度Mel语谱图特征通过主辅网络方式进行特征融合。目前在深度学习中,对不同网络学习出来的特征多以直接拼接的方式进行特征融合,虽然这些方法取得了一定的效果,但将不同类型的特征简单拼接起来作为识别网络的输入,没有考虑不同特征的量纲和维度的差异,以及各类型特征实际物理意义的不同,会对识别结果带来不利影响。针对上述问题,本文提出了通过主辅网络方式将不同类别特征进行融合的方法。首先将段特征输入SA-BLSTM-ASP网络作为主网络,提取深度段特征;然后,把Mel语谱图输入CNN-GAP网络作为辅助网络,提取深度Mel语谱图特征;最后,用深度Mel语谱图特征辅助深度段特征,将两者以主辅网络方式进行特征融合。本文在IEMOCAP和e NTERFACE’05数据集上做了充分的实验,验证了提出的基于SA-BLSTM-ASP网络的语音情感识别和基于主辅网络特征融合的语音情感识别两个模型的有效性,和基准模型相比识别结果有了很大的提升。