随着互联网及科学技术的快速发展,越来越多的人使用多模态数据在社交平台或电子商务网站上表达他们的态度或观点。从这些大规模的数据里提取出其中蕴含的情感,可以帮助人们更好地理解用户对某个事件或主题的态度。因此,如何检测多模态数据中包含的情感成为一大研究热点。然而,多模态情感分析至今仍有诸多难点。如在文本图像情感分类任务中存在以下难点:第一,文本图像模态特征异构。文本特征与图像特征在特征空间中是异构状态,难以融合。第二,图像包含的情感信息不足。如在评论这类数据中,图像可能只突出显示文本全部情感的某一个方面。第三,图像无法完全涵盖文本的所有方面。如人们在评论中上传图像时,不可能对文本中的每一个方面都上传一张图像进行佐证。因此,文本图像情感分类方法不仅需要有效地融合各个模态信息,还要从各模态中提取出与情感最相关的综合信息。针对以上难点,本文提出了基于视觉方面级注意力的多模态情感分类模型和基于层次化注意力的多模态情感分类模型。总体来说,本文的主要工作如下:（1）在对文本图像情感分类模型进行分析后,得出以下结论:大多数模型对图像特征和文本特征进行了丰富的交互作用,从图像中提取了足够多的情感信息,然而对于评论这类数据集中每张图像可能只包含实体某个方面的情况,这些模型无法获得较高的分类精度。当图像包含的情感信息不足时,即图像只是突出实体某个方面的信息,而不独立于文本来表达情感时,不应该直接将图像特征作为分类模型的输入,而应该将图像信息视为文本信息的对齐来源,用于指出文本中更为重要的部分。（2）针对文本图像特征异构、图像包含情感不足和涵盖方面不全的问题,对标Vista Net（AAAI2019）模型,提出了一种基于视觉方面级注意力的多模态情感分类模型LSTM-Vista Net。该模型假设图像信息对文本信息情感表达起支撑作用,将图像特征作为视觉方面级注意力,帮助识别文本中与图像对应的句子,赋予其更大的注意力权重。当图像无法完全覆盖文本时,Vista Net模型会忽略文本中没有图像对应的重要信息,针对这一问题,LSTM-Vista Net模型使用LSTM对文本信息进行情感提取,确保文本中包含的情感被全部识别。根据在公开数据集Yelp上的实验结果显示,LSTM-Vista Net模型除了在洛杉矶上的分类精度比Vista Net略低,其余城市及平均分类精度均有所提升,验证了本文所提模型在文本图像情感分类任务上的有效性。（3）针对文本是单词组成句子,句子组成文档这一层次化结构,提出了一种基于层次化注意力的多模态情感分类模型Vis HAN。层次化注意力主要包含单词级注意力和句子级注意力,单词级注意力对词向量进行编码,保存词语间的语义关联;句子级注意力对句子特征向量进行编码,保存没有图像对应但同样重要的句子的语义关系。然后使用视觉方面级注意力对文本中与图像对应的信息进行识别及提取,为了保证文本中所有重要信息都被提取,Vis HAN模型同样使用LSTM模型提取文本的情感信息。在Yelp数据集上的实验结果表明,Vis HAN模型的情感分类精度比LSTM-Vista Net模型提高了0.6%,验证了层次化注意力对情感分类性能的提升作用。