情感分析是情感计算领域的主要角色,该任务主要是利用计算机来检测、分析和评估人类对不同事件、问题等兴趣产物的认知,它的应用场景在我们的生活中可以说是无处不在,在商品零售、社会舆论、金融交易等领域均能够发挥巨大的作用。传统的情感分析大多数只是基于单一模态特征来进行推理,然而在我们周围的世界中,往往包含着多种多样的模态信息,比如我们身处于一个对话场景中时,除了面对面看到对方的面部表情外,还能够听见对方说话时语气的变化,理解对方所说的语言内容等等。为了弥补单模态情感分析识别率低、鲁棒性差的缺点,人们对情感分析的研究也逐渐过渡到双模态情感分析甚至多模态情感分析。为了能够提升情感分析的准确性以及最大程度地利用到所有的场景信息,本文设计了一种能够融合语音、视频和文本三模态数据的基于深度学习的端到端多模态情感分析系统,本文的工作主要分为多模态学习算法设计和端到端系统搭建两个方面,其中多模态学习算法又可细分为三个部分,具体内容如下:（1）提出了基于不同模态输入特征的分布式特征学习网络。由于语音、视频和文本三种模态数据的内在特征的异构性,本文为了能够针对性地学习不同模态内部的潜在情感信息,在输入端为每一种模态都单独设计了一种特征学习网络,并行学习得到三种单模态情感特征向量。（2）引入了基于联合注意力的跨模态特征融合网络。在得到三种单模态情感特征向量后,本文为了实现不同模态间的信息交互,增强模态间的关联性,引入了基于联合注意力的跨模态特征融合网络,将不同模态的情感特征向量进行两两交互融合得到三种跨模态融合特征。（3）提出了基于典型相关分析的生成对抗算法。为了缩小不同模态之间的语义鸿沟,本文提出了一种基于典型相关分析的生成对抗方法,选择一种模态的情感特征作为基准,采用多任务学习的方式,优化得到最终的全局共享情感特征。（4）端到端系统搭建。本文使用Py Qt设计前端界面,分别利用麦克风和摄像头采集语音和视频数据并实时保存,同时利用科大讯飞的语音识别API实时得到文本数据,最后再将三模态数据通过已经训练好的多模态学习模型推理得到对应的情感类别并显示在界面上。基于上述设计,本文提出的多模态学习算法在IEMOCAP数据集的情感六分类任务上达到了Accuracy 64.4%,F1 Score 63.8%,相比于最好的单模态文本情感基线方法Dialogue RNN分别提升了1.8%和1.5%,相比于多模态基线模型分别提升了0.6%和0.9%。