情感是人类心理最基本的组成部分之一,对人类的情感进行分析有助于判断个体的认知及行为,有着广泛的应用场景。由于人类实际上是结合多种信息去判断他人的情感的,那么采用多模态深度学习开展情感分析工作成为了理所当然的选择。虽然引入多模态信息提高了情感预测的性能,但与此同时也引发了诸多呈待解决的新问题。而这些问题,本质上都是多模态表示的问题。本文从多模态表示学习的角度出发,针对多模态情感分析中的一些难以解决的问题开展了一系列的研究。首先,对于情感识别任务中,如何恰当又有效的进行多模态表示的组合,开展了一系列研究,这也是多模态情感分析中最重要的问题之一。本文提出了一种自适应融合网络,将三种不同模态的表示分为三个不同的层次进行融合,并为每一种跨模态交互设计了权重计算单元。通过这种层次化、自适应的融合,从而捕捉三个模态间复杂交互特征。在此基础上,分别采用自监督学习捕捉三个模态的独特信息,并用多任务学习将上述模型进行有机的整合。在中英文两种情感分析数据的实验结果表明,该模型的性能对比其他基线模型具有一定优势,并通过消融实验验证了各模块的有效性。接下来,对于情感识别任务中,多模态表示维度过高难以处理并且噪声过多的问题进行了一系列的探索。本文提出了一种复合的表示信息压缩架构,先采用基于互信息最大化的跨模态表示提取的方法,对数据中的噪声进行剔除。并且为了能够捕捉跨模态交互,采用动态融合图模型将各模态表示进行融合。通过这一系列的方法剔除数据中的噪声,最后采用信息瓶颈方法进行表示的降维,使得融合后的表示能更好的进行情感分析任务。本文在MOSEI数据集上进行了实验,验证了该方法的有效性,并且相比于主流基线模型也具有一定的优势。最后,针对细粒度目标的多模态情感识别任务中,视觉表示难以利用的问题,本文提出了一种对比注意力机制。在面向目标的多模态BERT模型基础上,加入对比注意力机制。通过注意力的方式挖掘视觉表示与文本表示之间的差异信息,更加高效的从视觉表示中学习有效特征。通过在两个不同的细粒度情感数据集上的实验,对比其他基线模型提高了对正例的预测能力。消融实验结果表明,本文加入的这两种对比注意力起到了一定的作用。