随着抖音、快手等新网络媒体的快速发展,针对某一事件,越来越多的网民通过上传视频的方式来抒发观点和传递情感。视频提供内容的方式可以概括为三种多模态数据:口头语言形式的文本,通过感知手势和面部表情的视觉,以及通过语调和韵律的声音。与单模态相比,多模态数据传递的信息具有多维度、多类别、深层次等特点。因此,通过分析多模态数据可以更好地帮助我们获取正确的情感理解。但是,关于多模态情感分析中数据融合的问题,先前的研究过多的采用在时间维度上将特征向量直接拼接的方法,即为每个模态数据默认赋予相同的权重。该方法不注重多模态数据中每个模态在特定时间传递信息的强弱,以及无法获取多个模态在时间维度上的关联嵌入表示。而且,进一步的研究发现文本的词义会随着视觉和声音模态动态变化,会增强或者削弱文本词义本身的情感属性。为此,我们提出了两个多模态数据融合模型用来解决多模态情感分析任务中遇到的问题。针对以上特征向量拼接无法获取多个模态在时间维度上的关联嵌入表示的问题,提出模型一:一种基于自注意力机制和神经网络的多模态序列特征提取网络。该网络使用自注意力机制来增强单模态内的上下文信息和多个模态之间跨时间的上下文信息,以获得不同模态强度的嵌入表示。该网络的核心是在处理多模态数据时,对多模态序列数据进行序列重组和模态增强,直接提取信息增强后的多模态序列的融合特征表示。针对特征向量拼接无法解决文本词义受到视觉和声音模态会动态变换的问题,提出模型二:一种基于Transformer的多模态编码-解码网络。该网络模型通过BERT网络和Transformer编码器对多模态数据进行编码以解决模态内的长期依赖关系。并且,我们在进行多模态数据融合时,以文本数据作为主导信息、声音和面部视觉数据作为辅助信息作为核心切入点,重构了Transformer解码器来迭代的动态更新多模态数据的权重。该网络充分考虑了模态之间的长期依赖关系以及声音和面部视觉数据对文本数据产生的偏移效应。为了评估模型的合理性,本文选取了两个通用的多模态情感分析数据集进行实验,并与最新的基准模型进行了比较。由最终的数据可知,本文提出的模型明显优于基准模型,且已成功解决了上面提到的两个问题。