近年来随着网络平台的发展,图像、视频等数据高速增长,多模态数据的研究与应用价值愈发凸显。这些多模态形式的数据蕴涵着人类丰富的意见与情感信息,具有高度的理论研究意义与实际应用价值。然而在多模态融合策略方面,目前多数融合方法关注于融合的阶段选择或融合的模型选择,缺少完整的多模态融合框架。在多模态表示学习方面,目前多模态表示学习的方法在模型输出时往往采用特征拼接或简单的融合方式,忽略了多模态特征有效融合的重要性,且易导致部分特征的信息冗余。基于上述挑战本文从构建多模态融合完整框架及构建多模态多阶段学习框架的角度出发进行研究,主要贡献分为以下三部分:一、受心理学中情感唤起模型启发,首次从人类情感相关的脑神经系统的角度提出深度情感唤醒网络的多模态融合框架,建模人类情感表达过程。首先采用跨模态Transformer模块来模拟人类的知觉分析系统,通过辅助模态增强目标模态特征,完成模态信息间的初步交互过程。然后利用多模态LSTM系统模拟大脑中认知比较器,通过多模态LSTM系统弥补Transformer结构时序建模能力的不足,对不同模态特征进行时间维度上的内部建模。最后提出一种多模态门控模块模拟神经系统的激活结构,并根据不同模态的重要性自适应的控制输出。二、提出一种深度模态交互网络,由跨模态Transformer模块与时序层次融合网络两部分构成。第一部分跨模态Transformer模块通过cross-talking注意力机制使孤立的注意力头相互联系,不同的注意力头分布相互叠加,从而增强模块的分布表达能力。第二部分时序层次融合网络以LSTHM为基础对多模态特征进行时序性的建模并在LSTHM中嵌入层次融合模块分别对单模态、双模态和三模态层次性建模。三、从多模态不同阶段的学习过程出发,提出一种基于深度典型相关分析表示的多模态融合网络框架由特征提取、特征表示、特征融合三个阶段构成。在特征提取阶段使用预训练模型对不同模态特征提取。特征表示阶段分别对不同模态间采用深度典型相关分析进行多模态特征协同表示,减少各模态特征噪声。在特征融合阶段采用层次融合模块对不同模态间的相互作用逐层的交互融合,减少低效融合带来的特征信息冗余问题。