随着通信技术的进步以及Facebook和微信等社交平台的普及,人们在日常社交生活中会产生大量的能够代表情感的多模态数据。它已经从计算机科学传播到商业营销、金融、政治科学、健康科学甚至历史等社会科学和自然科学。文本是在进行情感分析最常用的信息,它通过单词、短语和句法关系来表达情感。然而在某些情况下,很难通过文本信息准确判断情绪。而文本和音频模态以及视频模态之间的相互作用可以提供更加丰富的信息并且获取到更多的情感特征。因为融合信息可以提供更多的情感特征,它通常会提高整体结果或决策的准确性。由于来自每种模态的序列的可变采样率而导致的固有数据不对齐,各个模态的数据通常表现出不对齐的性质。因此需要推断各个模态的长期依赖关系。深度学习是当下人工智能新兴发展的核心领域,它是在传统的机器学习领域的一次突破。在数据比较稀疏的情况下,往往能取得令人满意的结果。预训练模型的发展将自然语言处理带入了一个全新的发展阶段,利用大规模未标记语料,可以从中学习良好的表示形式,然后用于其他任务。从而进一步解决了数据集较少导致的模型过拟合的现象。本文首先介绍了对多模态数据结合深度学习算法进行特征提取的方法,统一的使用了预训练模型,参数可以根据下游任务微调,介绍了一种最新的视频语言建模模型。对于情感分析中最常见的载体文本结合融合注意力模块与图卷积网络提出了一种新的文本情感分析模型。最后在文本模态的基础上,提出本课题研究的重点基于深度学习的多模态情感分析,并且设计了俩种不同的跨模态注意力结构。相比文本模态提高了准确率,并且与其他的多模态模型进行对比,在客观上证明了方法的有效性。主要的工作包括:（1）基于深度学习进行音频、视频、文本的特征提取,统一的使用了预训练模型。对于文本模态,使用了更加稳健的Ro BERTa模型,该模型包含更多样的数据以及动态掩码策略。对于音频特征,采用了wav2vec2.0。使用掩码的策略,让模型学会恢复被掩蔽的部分,从而实现预训练的效果。对于视频模态,为了解决上下游任务域断开、文本语言缺乏联系、计算性能低下的问题,介绍了一种最新的视频语言学习表示,采用稀疏采样的策略,加入video swin transformer保持视频帧的时空信息,采用d VAE让模型学会恢复掩蔽的视频区域。并且该预训练模型支持静态图像的特征提取。本文设计了一种新的特征提取器,该特征提取器以预训练模型的最后一层作为输入,以卷积和池化交叉的方式来获取句子表示,并且增加了RELU激活函数增加非线性表达。（2）提出了一种新的结合深度学习算法的文本情感分析模型。该模型包括预训练模型、图卷积网络、融合注意力模块。通过图卷积网络动态调整预训练特征的权重,使文本情感分析在CMU-MOSI数据集准确率达到了82.9%。（3）结合基于深度学习的多模态特征提取的预训练模型,提出了一种新的多模态情感分析的方法。该模型包括跨模态注意力块、自注意力块、层归一化、图卷积网络以及残差结构,设计了俩种不同的跨模态注意力结构。实验表明该模型在数据未对齐的情况下,可以有效地关注到不同模态的交叉注意力以及远程的长期依赖。通过分析,表明跨模态相比于单独的模态可以获取到更丰富的情感信息,并且相比于其他多模态模型表现出最佳的性能,在CMU-MOSI准确率达到了83.8%。在客观上证明了该方法的可行性。