伴随人工智能技术与深度学习的发展,作为人机交互领域研究的一个重要部分,情感识别逐渐成为研究的热点。由于面部表情、语音等信号具有主观特性。脑电、外周等生理信号也从医学领域被引入到情感识别的研究中。单模态的情感识别领域已经取得了许多的研究成就,但是单模态中包含的信息往往是不完整的,会影响情感识别的效果。多模态识别逐渐被研究者所重视,并在表情、语音、文本、生理等信号上展开了广泛的研究,利用多个模态间的信息互补来提升情感识别的准确度。本文主要采用基于注意力机制和残差思想的融合算法进行脑电、外周生理和面部表情信号的多模态情感识别研究。本论文的具体工作如下:（1）为了准确地识别单模态情感,本文使用深度学习的相关方法对脑电模态、外周生理模态和面部表情模态进行情感特征提取。针对脑电模态,采用卷积神经网络进行脑电情感特征提取,保留脑电信号通道间的关系;针对外周生理模态,DEAP数据库在采用传统方法提取浅层特征后使用神经网络进行情感特征提取,MAHNOB-HCI数据库采用卷积神经网络进行情感特征提取,充分考虑了不同类型的外周生理信号的差异性;针对面部表情模态,利用CNN-LSTM的网络模型进行表情视频的情感特征提取,探究表情视频在时间和空间上的关联性。（2）为了有效地进行不同模态信息的融合,本文进行了多模态融合算法的研究。特征层融合方法能够考虑到各个模态特征间的关联和影响,但是简单的级联特征融合仅是将各个模态的特征直接进行拼接,忽略各个模态之间的差异性。针对级联特征层融合的缺陷,通过引入注意力机制和残差思想对其进行改进。这两种方法通过使用多头自注意力机制和多头互注意力机制的串联和并联形式,并在串联中引入残差思想,分别通过学习赋予模态间和模态内的特征以不同的权重,之后将特征进行加权融合,提升多模态融合算法的效果。（3）将基于并联注意力机制模块的融合方式和基于串联残差注意力机制的融合方式分别应用到多模态情感识别任务上,并在DEAP数据库和MAHNOB-HCI数据库上进行单模态、双模态和多模态的对比实验。在DEAP数据库中,将维度情感标签划分为两类进行实验,单模态情感识别结果均较低于双模态情感识别结果。与双模态情感识别相比,脑电、外周生理和面部表情信号的多模态识别结果也有较大的提升。在MAHNOB-HCI数据库中,将维度情感标签划分为三类进行实验,也存在上述结果。实验结果表明,这两种方法均具有很好的泛化能力和鲁棒性。