当前,精于理性计算的智能系统还不能自然地与人类进行情感交互。为了实现真正的人类智能（语义理解+记忆情感）,研究者们提出了情感计算的概念,希望赋予计算机识别和表达情绪的能力。现实场景中人们主要通过表情、姿势和声音来强调特定的观点或表达情绪。这种方式不仅涉及到词汇/语法,而且视觉和听觉也是重要的信息传达方式。为了准确识别人类的情绪,我们需要开展相应的情绪分析工作:结合深度神经网络技术实现多模态数据——文本数据、视觉数据、听觉数据的融合,从而感知人类内在的情绪状态。针对多模态数据中的跨模态时序依赖、复杂的高阶交互以及数据异质性等问题,本文开展了基于深度神经网络的多模态情绪分析研究,主要工作包括:（1）针对多模态时序数据中的跨模态时序依赖问题,本文提出了基于分层匹配的多模态数据融合框架,对跨越不同模态的短时和长时动态关联信息进行建模。为了实现从一到二再到多的多模态数据融合过程,该网络框架采用分层的方式以对应两种类型的匹配机制。首先,通过耦合匹配矩阵将两个模态的特征向量一一匹配,对显式的时序动态关联进行表示。之后,通过利用两模态匹配融合表示中特定模态的共有时间信息将多个匹配融合矩阵链接起来得到多模态匹配张量表征。实验结果表明,与其它基准算法相比,基于分层匹配的多模态数据融合框架具有更高的准确率以及更少的参数量,体现出该框架高效的参数效率。（2）针对注意力机制因只粗略考虑到输入特征的一阶统计特性而导致的细粒度信息丢失问题,本文提出了多模态高阶注意力机制,通过高阶多项式的形式对不同模态输入特征之间复杂的高阶关系进行建模,从而得到更具区分性的注意力表示。基于多模态高阶注意力模块,我们进一步搭建了多模态混合高阶注意力网络以保留更全面的高阶交互关系,从而提高了模型的性能。实验结果表明,利用高阶交互得到的注意力表示能够实现更有效的多模态特征融合。（3）针对双向长短时记忆网络的顺序计算性质对时序数据计算并行化的影响以及异质多模态数据特征分布不一致的问题,本文提出了基于跨模态注意力和模态不变表示的多模态适应融合模型。通过Transformer的自注意力机制建立单模态输入数据中不同时刻之间的交互以避免循环计算结构的出现。同时,将传统Transformer模型中的注意力机制扩展到多模态场景下以解决不同模态序列数据间存在的长期依赖关系,并进一步在模态不变空间中计算与各模态对应的模态不变表示以减少不同模态特征之间的差异。实验结果表明,多模态适应融合模型能够在CMU-MOSI和You Tube数据集上取得当前最佳的表现。以多模态数据为基础,以情绪分析任务为导向,我们进行了基于深度神经网络的多模态情绪分析研究,这些研究成果既是对当前多模态数据融合技术的有效补充,也为情绪分析问题提供了更多的思路和解决方案。