随着移动互联网的发展,社交媒体在人们的生活中越来越重要。它在方便人们生活的同时,也促进了谣言的传播。谣言的泛滥严重影响社会的稳定和人民的生活,需要快速自动化地检测谣言,谣言检测机器学习应运而生。然而,社交媒体谣言中包含文本和图片等多模态信息,仅仅依靠文本信息进行谣言检测的模型仍有不足,如何有效利用社交媒体中多模态信息成为亟待解决的重要问题。已有工作证明图片有助于提升谣言检测的性能,但现有工作仍然存在图片信息利用不充分和数据集过小导致的多模态理解力不足的问题。同时,社交媒体谣言中的图片形式丰富多样,且是承载谣言信息的重要媒介,但它在谣言中扮演怎样的角色仍未被探究。基于以上问题,本文提出了两种方法,充分挖掘社交媒体谣言中的多模态信息。本文完成的工作如下:（1）多图融合的多模态谣言检测方法,利用社交媒体中的文本和多图检测谣言。为了更好地解决谣言检测中因数据集过小导致多模态理解不足的问题,我们引入了预训练的视觉语言模型,通过对视觉和文本编码器进行微调,获取更好的视觉和文本特征编码器。为了解决社交媒体谣言检测中单张图片提供的信息有限的问题,我们在模型中加入了多图,同时利用微调过的文本和视觉特征编码器提取文本和多图特征,设计了多图融合的多模态谣言检测模型。通过对比实验,我们的方法在多个评价指标上超过了最好的基线模型,其中在准确率上提升了6.8%,验证了我们方法的优越性。（2）细粒度多模态谣言数据集构建及检测方法,利用细粒度的数据做谣言检测。为了充分发挥图片在谣言检测中的作用,我们对多模态谣言中图片的不同类型进行了细粒度地标注和分析,主要分为含有误导性内容的误用图片、文字截图形式的图片假新闻以及不提供主要线索的装饰性图片三种类型。不同类型的图片为谣言检测提供了不同的线索,因此对谣言中图片的细粒度分类可辅助谣言检测模型定位可疑模态,从而更好地捕捉造假线索,提高检测性能。为此,我们构建了细粒度多模态谣言数据集,设计了细粒度多模态谣言检测方法。通过对比实验,实验结果在多个评价指标上高于最好的基线模型,其中准确率上提升了4.4%,同时具备可解释性。综上所述,针对社交媒体多模态谣言检测存在的不足,我们提出了多图融合的多模态谣言检测方法,使模型更好地提取文本和视觉特征,同时充分利用了视觉信息,提高了模型的检测能力。我们提出的细粒度多模态谣言数据集构建及检测方法,增加了多模态谣言的理解,提高了多模态谣言的检测能力,并具备可解释性。实验结果证明了两种方法的有效性。