随着抖音、微博和YouTube等网络视频平台的流行,越来越多人喜欢在这些平台上分享视频来表达自己对各种热点事物或事件的观点和评论。从中挖掘有价值的情绪信息对于研究实际应用有非常重要的意义,如票房预测、舆情监控、智能客服和商品推荐系统等。但与纯文本情绪分析研究不同,本文针对多模态信息(如视频、音频)进行多模态情绪分析研究,额外的模态信息(如图像和语音)让任务变得更加富有挑战性,例如:口语化的文本中带有停顿、语气词,脸部表情以及声音的音调或者音量是多变的,这些因素为情绪分析带来了更多的不确定性。多模态情绪分析的核心挑战是如何更有效地对单模态内部的信息以及不同模态之间的动态交互信息进行建模,这一挑战也越来越受到来自学术界和工业界的关注。本文主要面向多模态信息开展情绪分类方法研究,重点探索该任务中对多模态信息建模的问题。具体研究包括以下三个方面:首先,本文提出了一种基于多任务学习的多模态情绪分类方法。采用的语料库中,一个多模态话语样本可能包含多种情绪表达,为捕捉不同情绪类别之间的关联,该方法的核心思想是把多标签情绪分类任务转化成多个二元分类任务,并通过多任务学习框架同时学习多个二元情绪分类任务,通过建立私有的和共享的网络层,来学习单模态的内部信息和多个模态之间的动态交互信息,得到最终的多模态情绪信息表示。实验结果表明本文提出的基于多任务学习方法能够有效提升多模态情绪分类的性能。其次,本文提出了一种基于情感信息辅助的多模态情绪分类方法。以往的纯文本情绪分析研究表明通过联合学习情感和情绪信息的方法可以有效提高情绪情感分类任务的性能。为学习多模态信息中情绪标签与情感标签之间的依赖关系,该方法的核心思想是采用联合学习框架,使多模态情感分类任务(辅助任务)可以辅助多模态情绪分类任务(主任务),在获取主任务的文本和语音模态辅助情绪表示之后,与主任务的原有信息进行结合,增强其表征能力。实验结果表明本文提出的基于情感信息辅助方法能够有效提升多模态情绪分类的性能。最后,本文提出了一个基于非冗余信息学习的多模态情绪分类方法。通常多模态信息交互过程中可能产生冗余信息,并且同一句话语的不同模态表示表达的情绪可能不同。为此,该方法的核心思想是在对多模态信息的建模过程中,使用正交损失约束来区分单模态的内部信息和不同模态间的动态交互信息,以达到去冗余的目的,再将去冗余的多种模态信息通过门控融合机制控制每种模态信息的输出并进行融合,最终得到多模态情绪信息表示。实验结果表明本文提出的基于非冗余信息学习的方法能够有效提升多模态情绪分类的性能。