随着社会对人机交互的需求逐渐增加,情绪识别受到了学术界的广泛关注。情绪识别现已广泛应用于交通检测、教学引导、医学治疗等领域。情绪识别的方式多采用语音信号、视频信号等单模态识别,在一定场景下具有良好的实用性和普遍性。但是当前情绪识别应用场景复杂、数据量暴增,单模态的情绪识别已经无法满足人们的需求。数据量达到一定规模时,只有模态种类越完整,模型的识别效果越好,因此本文将两种单模态情绪识别进行融合,研究多模态情绪识别应用的有效性。针对语音情绪识别研究,对梅尔频率倒谱系数（Mel Frequency Cepstral Coefficients,MFCC）特征提取进行改进,提出了基于小波包分解的MFCC。小波包分解的MFCC可以通过设置阈值去除噪声、自适应选择频率参数解决高频信息缺少的问题,以此提取更具代表性的语音特征。实验结果证明,在IEMOCAP公开数据集上的加权准确率（Weighted Accuracy,WA）和非加权准确率（Unweighted Accuracy,UA）指标分别为71.93%,69.86%,优于其它几种语音特征方式和主流算法。针对视频情绪识别的研究,为了充分利用特征之间的关联性并提取有效的特征,提出了基于多特征提取的情绪识别算法。首先从图像信息中提取场景特征和表情特征,然后将两种特征分别输入两个GRU网络。为了充分利用两种特征之间的关联性,在门控循环单元（Gate Recurrent Unit,GRU）后引入了注意力机制,将两种特征进行融合,最后由分类器输出情绪识别结果。实验在IEMOCAP数据集上从两部分进行验证,第一部分证明了引入的场景信息可以充分利用模态之间的互补性,提升情绪识别结果;第二部分证明了注意力机制改善了长期距离依赖的问题,降低情绪识别误判率。针对多模态情绪识别的研究,将音频特征向量和视频特征向量融合,提出了基于双向门控循环单元（Bidirection Gate Recurrent Unit,Bi-GRU）和注意力机制的多模态情绪识别算法。Bi-GRU可以从各个方向体现时间序列信息,相比GRU能够获得有价值的信息。实验从两方面验证,一方面通过多模态和单模态的结果对比验证了多模态情绪识别的优越性,平均提高7.82%;一方面通过与其它模型的对比验证模型的有效性。本文包含图33幅,表格11个,参考文献84篇。