在人类历史发展史上,情绪无处不在。在就医的过程中,医生在看病的过程中,可以通过患者的情绪来分析病痛的严重性,特别是对于言语表达有一定障碍的患者,情绪对它们来说就非常重要。在人工智能拔地而起的今天,计算机信息技术作为基础尤为重要,在人机交互的反馈中,情绪的反馈与辨识就显得尤为重要,拟人化的人机交互,借助情绪识别的状态,就可以与人交互的更加自然和灵性。之前对情绪识别的研究,更多的是单一的从语音、文字、面部等方向进行识别率的分析研究,而这种研究在今后的人工智能发展上具有局限性,人机交互不可能只从声学等单方面的捕捉信息并执行相关操作。所以如果想让机器能够像人一样的感知和理解情感,那么就必须让机器能够对人类这方面的能力进行模拟,进而让机器具有捕捉多模态的情感特征,并对其进行处理,最后表达出相应人类情感的能力。在之前的情绪识别的研究中,更多的研究者对于情绪识别材料的选取更多的倾向于剧本式、模式化的材料,这样会造成泛化能力不高,还有对于材料的丰富程度,往往选择的也不够全面,这些都会导致最后得出的情绪识别率不够完整。所以,本文从多模态情感信息数据库,到单一模态的情感特征获取,再到对单一模态下情感的识别,到最后多模态的情感识别,都做了试探性研究和积极实验,以IEMOCAP（interactive emotional dyadic motion capture）交互式情绪二元运动捕捉数据集为基础,分别以语音、文本、面部头部手势信息为分块,进行情绪识别实验。从语音方向提取了MFCC声学情感特征,以神经网络的方式进行建模识别,文本方向以自然语言处理的词嵌入特征向量提取,再使用LSTM长短时记忆网络联系上下文进行识别,面部头部手势以数据集中坐标为基础的特征向量,使用卷积的方式进行实验。在实验过程中,本文系统性的回顾了一些神经网络情感识别的算法,并在模态融合之前回顾性的介绍了模态融合的方式,最后采用了特征融合的思路对多模态情感识别进行了最终的实验并得出结果。最终实验了基于MFCC声学特征的语音情绪识别,识别率达到59.53%,尝试了基于语谱图的CNN情绪识别,识别率达到57.85%。针对数据集中的文本信息,通过Word2vec和Glove分别进行了词袋模型的建立,再通过神经网络进行情绪识别,实验识别率分别为54.92%（glove）和67.12（word2wec）。而对于数据集中面部、头部、手势的信息,采用了对开始时间和结束时间值之间的所有特征值进行采样,分别对三部分（面部、头部、手势）识别,识别结果分别为面部53.30%、头部45.98%、手势49.50%,同时把三部分进行初步融合识别,识别率为51.31%,对以往的研究均有所提升。最后把语音、文字、面部、头部、手势全融合,进行多模态情绪识别,其识别结果达到71.55%,此结果相对以往研究有了较大的提升。