随着社会的发展和时代的进步,互联网技术给人们的生活提供了极大的便利。尤其是近些年来,大量的社交媒体平台兴起。不仅为人们的交流提供了便利,也改变了人类获取信息和传播信息的方式。在社交媒体平台上,人们可以自由的创造、发布和提取热点信息。许多人也利用它的时效性散布和传播谣言,博取网民们的眼球,吸引人们的关注,从而谋取利益。谣言被定义为没有事实根据的消息,它往往会误导读者。它不仅会伤害到个人、社会甚至整个国家。在有些情况下,会对社会公共事件造成很大的负面影响,甚至它可以成为一些人政治斗争的工具。比起传统的文字谣言信息,带有图片、音频、视频等的多模态谣言信息有着更强大的影响力。它更容易吸引读者,引导读者的情绪和麻痹读者的思想。如何发现谣言,及时的阻断谣言的传播并击穿谣言已成为国家乃至世界的热点问题。近些年来,多模态谣言检测技术的快速发展,从运用传统的机器学习技术到基于深度学习的技术。但是现有的大多数工作都难以解决多模态谣言检测的两个难点问题。如何有效的建立不同模态数据连接是第一个挑战。其次,使用已知的谣言事件进行训练去检测未知的谣言事件,这容易导致模型侧重于捕捉谣言特定于事件的特征。而新事件训练数据较少甚至没有,会导致模型难以识别谣言。针对上述两个问题,本文设计了多模态谣言检测网络,具体研究如下:1.本文设计了一种多模态融合网络来整合社交媒体中文本和图像数据用来检测谣言。给定多模态特征,该网络利用自注意力融合机制,为每个模态分配相应的权重来进行特征级融合。考虑到文本特征比视觉特征更具有区分力,将文本特征以残差的方式与融合后的特征相连接。此外,该网络还引入了潜在主题记忆来存储有关谣言和非谣言事件的语义信息,这些信息有利于识别即将发布的帖子是否为谣言。2.本文在第一个网络模型的基础上,设计了一个新型的多模态谣言检测网络用于检测社交媒体上的谣言。该网络通过多头自注意力融合机制将文本特征和图像特征的信息互补的结合起来,将权重分配给不同的模态,并从多个角度进行特征融合。此外,该网络利用具有相反潜在主题的记忆网络存储谣言真假模式的语义信息,这有助于识别即将发布的新谣言。在三个公共数据集上进行的大量实验表明,本文所提出的多模态谣言检测方法优于最先进的方法。