情绪识别是分析人们在感觉、思想和行为等方面所表现出的意见、观点和态度的一种有效方法。情绪识别在很多场景有着具有重要作用,例如在线面试和辅助医生检测用户的情绪状态。通过手机等设备可以更方便地对用户情绪进行观察与分析。人们表达情绪的方式是综合的和多方位的,单模态情绪识别无法利用这些信息来更全面分析情绪,而采用多模态情绪识别,可以更多维度地识别情绪。因此,采用多模态融合的方式识别出情绪类别,并迁移至手机上来提供实时的多模态情绪识别服务是值得深入研究的方向。对于多模态情绪识别算法,融合方法是其中的关键技术。为了融合多个维度信息,目前主要的思路是将各模态的特征进行融合,或者对单模态识别的结果通过特别的算法进行融合,得到多模态识别的结果。本文首先设计出基于自注意力低秩矩阵融合多模态情绪识别模型。将不同模态数据输入到Bi-GRU网络,然后计算自注意力,再通过低秩矩阵融合策略,融合表情、文本和语音三个模态的特征,得到低维的融合特征,然后输入分类器得出情绪类别。其次,设计基于动态加权融合的多模态情绪识别模型。通过vq-wav2vec和GPT-2得到语音和文本两个模态的特征向量,将特征向量输入两个由BERT结构改进的预训练网络,再将得到的单模态识别结果输入到决策级融合模型,动态分配权重,最终得出多模态情绪识别结果。然后,设计并实现了针对手机应用的多模态心理健康测评原型系统。通过Android APP实现客户端,并将模型部署在手机上。该系统有用户端和管理员端,用户可以进行量表测评、开放问答测评等功能,在测评中采集用户不同模态信息并输入多模态模型检测情绪;管理员有管理用户和量表等功能。最后,针对本文的所有设计方案进行了测试和部署,并对结果进行了分析。根据测试结果,本文设计的算法模型可以正常在Android手机上运行,融合模型的准确率相比目前较好的模型在CMU-MOSI、CMU-MOSEI、IEMOCAP数据集上提高了0.1%～4%,并减少了网络流量消耗,使得多模态情绪识别在手机端更加高效。