随着科技的进步和深度学习研究的深入,语音情感识别在生活中的应用逐渐变得广泛。目前的语音情感识别任务大多被看成是简单的分类任务,首先人工提取多种声学特征并构建特征工程,然后通过深度学习的方法训练分类网络进行情感类别的识别。本文旨在探究语音情感中变与不变的信息,基于语音生成模型源-滤波器模型,探究语音情感信息的表达并构建语音情感空间;然后基于情感空间搭建最合适的学习语音情感信息的网络结构;最后利用注意力机制对模型进行优化,对语音中的关键性部分进行提取并利用。本文的主要研究内容包括以下几个部分:1.研究了基于源-滤波器语音发声模型的语音情感特征在大量的声学特征参数中,从它们的物理意义上出发,筛选合理的表达情感不变性的特征参数,并验证其有效性。通过对比分析,在激励源和声道上尽可能去除情感语音中说话人、内容等信息的干扰,保留语音与语音情感相关信息。最终构建了两大类语音情感空间:语谱图为代表的全局特征情感空间,以及基频、Mel频率倒谱系数及其统计值构成了时间序列情感空间。2.研究了适配于语音情感空间的网络结构基于较优的语音参数构成的语音情感空间基础上,构建适用于挖掘语音情感信息的深度学习网络。本文从网络结构建模的角度出发,根据由语音时序特征构成的情感空间,以及既可以表征话语级、也可表征帧级的作为输入的语谱图情感空间,利用不同的卷积神经网络,最终构建了谱图网络、时间序列网络两大类网络结构。相比之下,以语谱图为输入的组合卷积谱图网络获得了更好的识别率。3.研究了语音情感信息的关键性部分提取语音中不是所有部分都能体现情感信息,而且重要的语音情感信息类型也是多种多样的,如何提取并利用这些关键性部分是研究中的关键点。本文提出一系列从时间上、频域上以及高层空间上提取语音情感关键性的方法,其一是作用于原始的谱图输入,另一是在网络高层空间对局部关键性进行学习并加以利用。通过传统方法、自注意力机制、非随机Dropout以及通道注意力及其结合体的方法,对网络模型进行优化,在基础网络之上提升了系统准确率。其中将作用于原始语谱图输入的自注意力方式与网络高层注意力相结合的方式获得了最佳的效果。