人类在日常生活的交流中,无时无刻不在表达着内心的情感。人类的智慧由“智商”与“情商”有机结合而成,除了具有识别客观事物和逻辑计算的能力,还包含受情感驱动的决策和行动。因此对于计算机来说,将情感计算与逻辑计算有机融合,才是迈向人类智能的飞跃。为了推动情感智能体的发展,关于情感分析技术的研究日趋活跃。情感分析是情感计算中最基础也最重要的领域,其目的是赋予机器以发现和理解人类情感状态的能力。随着互联网的发展与多模态数据的激增,如何挖掘多模态场景下的情感要素、针对多模态数据进行建模已经成为情感分析领域亟待解决的问题。针对多模态情感分析任务,本文围绕多模态动态这个关键问题,研究了会话情感分析和实体级情感分析两个子任务。具体而言,本文的主要研究内容包含以下几点:（1）本论文提出了一种对会话情感分析进行层次不确定性量化估计的方法。该工作针对会话交互、多模态语境等特点,对模型进行层次不确定性估计,综合采用噪声注入、蒙特卡洛丢弃法、正则化等贝叶斯方法,着力对上下文依赖层级以及多模态融合层级进行不确定性和可靠性的量化估计。同时,该工作考虑到多模态数据的模态情感不变性与模态表达多样性,提出一个探索多模态动态平衡的框架。该框架使用权重共享三元网络模型来捕获模态情感不变性,使用多模态条件层归一化模块和基于胶囊的预测层来捕获模态表达多样性,从而同时提高模型预测的准确度与可靠性。（2）本论文提出了一种对会话情感分析中的多模态动态和上下文动态进行自适应建模的机制。该工作提出一种可微分并端到端的算法,为并行传播的单模态分支中的子模块学习保留或丢弃的二元决策。该决策自适应地选择执行或跳过哪些子模块,从而支持自适应的模态共享模式和动态融合路径。另外,所学习到的决策不仅可以被视为模态级别的决策,还可以被视为上下文级别的决策,因而所提算法可以同时对多模态和上下文动态进行建模。另外,该工作提出了两种决策学习机制,还制定了两个额外的损失函数来捕获保留与丢弃之间的动态平衡。所提算法能对复杂的多模态动态进行更充分的建模,并对多模态类型增加保有良好的可扩展性。（3）本论文研究了基于图神经网络的会话情感分析问题,提出了一种多模态图网络融合的自适应算法。所提算法的核心思想是在子图中传播适量的多模态信息,并部分缓解噪声的存在。该算法根据不同模态内部的特性,为每种模态学习不同的融合模式,使得最重要和最有信息量的模态间信息在图网络中流动。通过这种方式,所提算法能挖掘更丰富的多模态动态,还可以作为即插即用模块应用到其他基于图网络的多模态任务和基准中。（4）本论文研究了基于跨模态高阶语义匹配的实体级情感分析。该工作分析了跨模态语义关联的重要性,并指出数据中的图文关系大都具有“弱相关”关系,更注重“场景关联”或“因果关联”这样更高阶的语义联系。针对此特性,该工作提出了在情感分类损失函数外增加跨模态匹配损失函数作为补充,将其置于一个多任务学习的框架下。通过跨模态匹配损失函数的监督,模型能具备感知跨模态高阶语义联系的能力。该工作针对任务场景下的数据特性,提出了一种用于跨模态匹配的度量函数,此函数关注正负样本对之间的相对相似性。通过在三个情感分析模型中增加跨模态匹配损失函数验证了所提方法的有效性。最后,本文对以上研究内容进行简要总结,并就研究工作的深入拓展作出展望,提出可行的研究方向和思路。