人们希望计算机能够像人类一样拥有自己的思维和意识,能够识别人类的情感状态,能够非常自然地和人类进行交流,由于单模态的情感信号所携带的情感信息比较有限,且单模态的情感识别存在准确率偏低和鲁棒性差等缺陷,使得双模态融合以及多模态融合的情感识别方式越来越成为研究者关注的焦点,通过多个模态之间情感信息的有效互补能够显著提高情感识别的性能。本文采用文本模态、语音模态和视频模态进行融合的多模态情感识别方式,并运用机器学习和深度学习的相关方法,对多模态情感识别进行研究。本文将双向长短时记忆网络用于多模态的情感识别,在每一个情感状态之前与情感状态之后建立相互依赖的情感联系,充分发掘模态内部与每个模态之间的情感信息。在情感识别过程中采用特征层融合的多模态情感识别方式,能够有效发挥不同模态之间信息互补的显著优势,捕捉不同模态之间的情感信息与情感联系,弥补单模态情感识别性能不高的缺陷,能够提升情感识别的性能。但特征层融合的方式是将每一个情感模态的情感特征融合在一起,不可避免地产生了情感特征维度偏高的问题,针对特征层融合造成情感特征维度偏高的问题,本文采用核主成分分析的方法降低情感特征的维度,并采用注意力机制的方法为每一个情感模态分配权重值,最大限度地发挥每个模态对于情感识别的贡献率。在情感识别过程中采用决策层融合的多模态情感识别方式,能够发挥每个模态的独特优势,但每个单模态提取到的情感特征会存在不同程度的情感特征冗余问题,这些冗余的情感特征不仅会增加情感识别的计算消耗,还会降低情感识别的性能,本文采用最大信息系数法进行特征选择,通过特征选择能够去除冗余的情感特征与无关的情感特征,通过加权求和与投票的规则作为决策层融合时的决策规则,能够提高多模态情感识别的准确率。特征层融合与决策层融合,都具有不可替代的优势,为了有效发挥它们各自的优势,本文采用混合层融合的多模态情感识别方式,将特征层融合的情感识别结果与决策层融合情感识别结果进行二次融合,能够有效提高多模态情感识别的性能。