情感是理解话语背后意图的一个主要标志,语音情感识别技术在心理健康分析、智能机器人、驾驶辅助等领域能够有效提高用户在人机交互系统中的工作效率。情感具有复杂性,提取与特定情绪相关的特定特征是语音情感识别研究中的重要方面之一,同时在情感识别领域中,多模态系统在识别说话者的情感方面更有效率。本文针对上述两个方面进行了研究,并设计了一个语音情感识别系统。首先,本文设计了一个语音情感识别系统的总体框架,对其中语音情感识别基础理论和识别模型进行了阐述,并分析了情感识别方面的相关研究方法。通过总结目前研究中存在的问题,明确了将本文的研究重点放在特征提取与模态融合方面。其次,针对语音特征数据冗余、无关特征等干扰容易导致情感识别模型识别率低的问题。本文提出了一种基于注意力的三维卷积循环神经网络（Attentional-based Three Dimensional Convolutional Recurrent Neural Network,3DACRNN）的语音情感特征提取方法。将对数梅尔谱图输入设计的基于残差网络的三维注意力卷积神经网络（Res Net-based Three Dimensional Attentional Convolutional Neural Network,3DRACNN）进行训练,以提取语音情感特征,再由深度双向门控循环单元（Bidirectional Gated Recurrent Unit,Bi-GRU）提取时间信息。分别进行了对比实验,结果证明3DACRNN可以提取有效的情感信息,提高情感识别准确率。然后,针对利用单模态信息无法准确、全面识别说话人情感状态的问题,本文提出了一种基于注意力卷积神经网络双向门控循环单元融合视觉信息（Attentionalbased Convolutional Neural Network Bi-directional Gated Recurrent Unit Fusing Visual Information,VACRNN）的语音情感识别模型。使用面部表情来解释视频中的语音情绪以改善语音情感识别系统性能。利用CNN和一系列具有注意力机制的门控循环单元（Gated Recurrent Units with Attention mechanisms,AGRUs）架构提取表征面部外观和几何形状变化的具有鉴别性的特征依次与预训练3DRACNN得到的语音特征进行融合,利用Bi-GRU融合网络与特征串联方法,综合考虑上下文信息,并在保留模态间信息差异的基础上,得到情感特征用于情感分类识别。实验结果表明,本文方法相较于文献中的方法识别准确率在对应数据集上分别提高了3.68%和4.59%,有效提高了语音情感识别的准确率和鲁棒性。最后,本文将提出的特征提取方法和基于VACRNN的情感识别模型应用到设计的语音情感识别系统中,并在CH-SIMS和自制数据集上进行了实验。实验结果证明本文开发的语音情感识别系统的有效性,同时语音情感识别的准确率和鲁棒性得到了提升。