语音情感识别技术的迅猛发展使得人机交互界面迈入更加精细化、智能化的时代,已经广泛应用于社会生活的各个方面,成为人工智能领域重要的研究方向之一。近年来,随着深度学习技术的飞速发展,对图像识别、语音识别、自然语言理解等多个领域产生了颠覆性的改变。深度神经网络也被成功地应用在于语音情感识别领域,主要是利用神经网络提取更为鲁棒、有效的情感特征和基于时序关系建立情感模型,同时借鉴其他领域的模型以有效地提升语音情感识别的性能。然而,目前的研究工作存在以下几个问题:首先,已有的深度模型大多仅关注语音情感数据的时序表征或纹理特征,并未将两者有效的结合;其次,目前的研究工作多将任务建模为序列-标签问题,忽略了语音情感序列中细微的情感变化以及这些情感扰动对整体情感识别的影响;最后,目前的研究工作大多未考虑从相似任务中获取知识来指导语音情感识别模型的学习。在本文中,首先针对使用卷积神经网络(Convolutional Neural Networks,CNN)或双向长短时记忆神经网络(Bi-directional LSTM RNN,BLSTM)无法有效提取语音情感时空表征的问题,提出Attention-BLSTM-CNN模型,通过将CNN和BLSTM两个分支采用并行结合的方式,同时提取语音情感的时空表征,然后进一步在每个分支结合注意力机制以提升模型的识别性能;其次,本文使用联结主义时序分类(Connectionist Temporal Classification,CTC)来捕捉序列之间的情感波动,将语音情感识别任务建模为序列-序列的学习问题,并结合注意力机制,进一步提升识别性能;然后,本文基于知识迁移理论,采用Teacher-Student模型,将语音识别任务所产生的注意力图作为知识迁移到情感识别任务之中,使用该先验知识指导情感识别模型的学习;最后,综合上述模型所取得的结果,本文提出一个基于注意力机制的多模型融合策略,采用并行结构设计,结合上述模型的优势,通过注意力机制为不同模型分配权重,融合输出最终的识别结果。本文分别在IEMOCAP数据集和FAU-AEC数据集上进行了实验,使用短时傅里叶变换的方式完成这两个数据集的特征提取操作,并最终应用于基于注意力机制的融合策略。基于注意力机制的融合模型在IEMOCAP库上取得了72.5%(UA)和71.5(WA)的识别效果,在FAU-AEC库上取得了52.1%(UA)的识别效果,取得了较好的性能,充分证明了注意力机制的有效性。