情感分析是数据挖掘中的重要研究课题。早期的情感分析主要关注于文本情感极性的抽取。随着社交媒体、电子商务等互联网应用的不断发展,情感分析的对象不再局限于文本,更多的是融合了短视频、图片、文字的多模态数据。目前大多数电子商务平台都允许用户在发表评论时使用短视频、图片、文本等。包含多种模态数据的情感分析任务被称为多模态情感分析。如何对多种模态的数据进行融合来提高情感分析的准确率,是目前多模态情感分析的主要问题。多模态情感分析对于网络营销、电子商务等的发展具有重要的意义。本文以互联网中多模态数据的发展为背景,以多模态的点评数据为研究对象。围绕具有代表性的图片加文本的点评数据以及用户口述评价的视频点评数据,分别开展情感分析算法研究。针对视频情感分析问题,论文提出了一种基于自注意力机制和神经网络的情感分析算法;针对图片文本融合的情感分析问题,我们提出了一种基于多层注意力网络的情感分析算法。总体来说,本文的主要工作和贡献归纳如下:(1)提出了一种基于自注意力机制和神经网络的视频情感分析算法:针对用户评论视频(用户针对特定话题发表口头评论的自拍视频)中的文本、图像和声音三种模态数据,使用自注意力机制对包含信息最丰富准确的文本数据进行编码。然后同时考虑视频内部不同片段之间的注意力机制和模态之间的注意力机制,以求准确地挖掘模态之间的关联信息。为了拟合不同特征数据间的复杂关联,本文选择多层神经网络实现多模态情感分析算法。为了验证所提出算法的有效性,我们在多个实际数据集上进行了实验,结果表明本文所提模型的效果优于多个对比模型。(2)提出了一种基于多层注意力网络的图片文本融合情感分析算法:针对点评网站上较为普遍的图片结合文本的评论形式,提出了可以准确识别文本情感的多层注意力网络模型。我们将图片用作文本的注意力,通过计算文本中每个句子和图片之间的相关程度来判断这个句子对图片文本组合整体情感的重要程度。在处理图片文本组合中的文本向量编码时,我们为了在编码过程中不丢失词语之间的语义关联,采用了自注意力层对词向量进行编码。此外,我们还使用了一个全连接层将图片对文本的注意力和语句之间的注意力相结合,避免丢失某些和图片没有联系的关键语句信息。我们在真实的餐厅点评数据集上进行了实验,结果表明了所提算法的有效性。