多模态情感分析研究如何让计算机自动地监测出多媒体数据的情绪倾向、程度、类别。目前的多模态情感分析大多基于视频、语音和文本三种模态，是人工智能研究领域的一个重要方向，在日常的诸多领域中都有着广泛应用，例如，市场调查、智能人机交互和客服系统。现实场景中的多模态数据在时间序列上并不对应，难以进行有效的多模态融合。现有的多模态情感分析方法大多只适用于多模态信息已经对齐的数据，但无疑额外增加了数据处理成本。同时，现有的方法大多采用三个模态间两两融合的方式，忽略了单模态内部重要信息和三个模态的内在的相关性，因此并未很完整的挖掘和融合多模态信息。
　　为了解决上述问题，本文提出了基于联合注意力网络的多模态情感分析技术，该网络包含以下几个部分：
　　(1)提出了基于联合注意力的跨模态融合网络，用于非对齐多模态序列。具体地，设计一种联合注意力机制使三个模态进行同步融合。同时，考虑到不同模态之间的依赖关系，进一步的采用自适应加权融合方法，自动学习每个模态的特征权重后再融合。
　　(2)提出了基于层级聚合的特征增强算法。用于提取单模态内部不同层面的信息。具体地，该模块将不同层的语义信息融合到顶层，增强了单个模态特征对情感分析的贡献。
　　(3)提出了基于典型关联分析的特征增强算法，用于学习全局共享特征。该模块通过多任务学习方式，挖掘多模态全局共享特征的同时，利用典型相关分析进一步增强模态之间的相关性。
　　基于上述设计，文本提出的模型在非对齐的多模态情感分析场景中，与目前学术界上最好的性能相比较，对比情感分析测试中的7分类精度、2分类精度、F1三个指标，在MOSI数据集分别提升2.6%，1.8%，1.9%，在MOSEI上分别提升2.4%，1.5%，1.6%。