随着科学技术的进步,大多数人都拥有智能机器或智能终端。以智能语音助手为例,只有能够对人类的情绪做出快速准确的评估,才能充分理解人类的情绪和意图,并产生更智能的反应。在智慧医疗中,对患者情绪状态的智能识别,有助于舒缓患者情绪,协助医生完善治疗方案。在智能交通中,实时监测驾驶员的情绪状态,如果发现异常情况,如醉酒、疲劳驾驶等,将第一时间发出提醒,有效避免交通事故。在人工智能时代,人机交互越来越普遍,用户对智能机器的体验标准越来越高,人们希望机器能够像人类一样观察和理解自己的情感。情感分析是人机交互领域的一个重要的研究方向,情感分析是对带有情感色彩的主观性数据进行分析、处理、归纳和推理的过程,在传统的情感分析研究中针对的主要媒介是文本,近年来,随着多媒体网络的快速兴起,无论是内容创作者还是普通的网民,都越来越多地使用视频来表达自己的情感,视频中包含人物的面部表情和说话声音,相比文本有着更丰富的情感信息,因此,基于多模态数据的情感分析有着很大的优势。未来人工智能将会是经济增长的关键,全球各国都在这一领域展开激烈竞争。在此背景下,本研究以多模态情感分析为主要研究对象,利用注意力机制及其变体来充分捕捉多模态数据间的交互信息。主要工作和贡献如下:1.针对多模态情感分析中的模态内部特征表示和模态间的特征融合问题,结合注意力机制和多任务学习,提出了一种基于注意力的多层次混合融合的多任务多模态情感分析模型MAM（Multi-level Attention and Multi-task）。在单模态内使用卷积神经网络和双向门控循环单元来实现特征的提取;在模态间使用跨模态注意力机制实现模态间的两两特征融合,在不同层次使用自注意力机制实现模态贡献度选择;结合多任务学习获得情感和情绪的分类结果。在公开的CMU-MOSEI数据集上的实验结果表明,情感和情绪分类的准确率和F1值均有所提升。2.提出了一种基于跨模态注意力和双池化的多模态情感分析模型。利用跨模态注意力机制对模态间的关系动态进行建模。结合最大池化和平均池化挖掘特征交互信息中的显著特征和总体特征以实现情感分类。在CMU-MOSEI数据集的实验结果表明,所提出的模型在准确性和F1值方面均优于基准模型。3.提出了一种基于大规模预训练文本和音频模型的情感分析方法。对来自不同领域的预训练模型进行模态融合,使用ALBERT（文本）和PANNs（音频）从原始文本和音频中以端到端的方式训练模型。在CMU-MOSI数据集的准确率和F1值分别达到了84.98%和85.08%。4.构建了一个关于隐式情感讽刺和幽默的多模态数据集,其中包含6124个带标注的数据样本,包括文本,视频和音频。数据来自于中国的一档脱口秀节目。根据样本的统计结果发现,讽刺和幽默经常同时出现在脱口秀节目中。该数据集的公开有助于研究讽刺和幽默的相互关系。提出了一种多门控专家网络模型MMMo E（Multimodal Multi-gate Mixture-of-Experts）。通过在该数据集的实验结果表明,MMMo E在各项评估指标方面均优于基线模型。