随着移动互联网的发展,社交网络已经成为人们生活中重要的一部分。在社交网络中,人们不仅仅是信息的接收者也是内容的创造者。诸如微博、推特等平台大大加速了人与人之间信息交流的速度和深度。目前,社交网络已经成为了人们获取信息的最重要的渠道。在这样的便利环境下,社交网络也降低了不实信息的传播成本。与传统的文本信息相比,带有图像的信息不仅能提供更加丰富的情节来吸引更多的读者,而且能够增加信息的可信度,然而这常常被恶意用户所利用。如何对分辨出多模态的虚假谣言并阻止虚假信息的传播,已成为近年来热点研究领域之一。同时在消息传播过程中所产生的评论数据被证明有利于谣言检测,如何处理评论数据也是研究者们所关注的问题。本文研究基于深度学习的多模态网络谣言检测方法,主要工作包括以下几个方面:1.研究了网络爬虫技术,针对推特平台和微博平台的特点,设计网络爬虫方案。根据Scrapy框架和Redis数据库,实现了针对微博数据的并行爬取。针对推特平台,利用Flask框架作为API密钥的管理服务器,对推特平台进行多线程爬取。并将爬取的数据分别存储,构建了模型的训练数据集。2.提出了一个融合传播模态的基于注意力机制的深度学习框架MBC(MultiattBLSTM-CNN),用来融合评论特征和源信息特征。首先将源信息和评论信息按发文的时间顺序进行排列,通过Text-CNN模块来获得评论数据和源消息数据中的文本特征。接着利用多头自注意力机制学习评论与评论之间和评论与消息之间的交互特征,进一步学习时序序列中潜在的拓扑特征。然后将更新后的多模态数据进行平均池化送入分类器。最后设计了对比实验进行性能的比较,实验验证了该模型的有效性。3.提出了一个融合视觉模态的基于注意力机制的深度学习框架MFN(Multimodal Fusion Network),用来融合源信息的视觉特征和文本特征。首先通过BLSTM和TextCNN抽取文本的时序语义特征和n-gram局部特征。然后利用预训练的Faster RCNN模型来抽取图片的细粒度特征。接着利用多头注意力机制学习单词与图片中的目标兴趣区域之间的潜在联系,从而更新文本特征和视觉特征。之后利用注意力机制来融合多个模态特征输入到分类器中。最后设计了对比实验进行性能的比较,实验验证了该模型的有效性。