随着互联网技术的飞速发展,以微博和推特为代表的网络社交媒体平台成为群众获取信息、创作内容和分享观点的主要场所,同时平台便捷内容创作与高速信息传播的优势也成为谣言生成与传播的沃土。社交媒体中的谣言往往以制造噱头获取流量为目的,以杜撰的文字与篡改的图片吸引用户注意,通常带有情绪煽动性与恶意性,严重破坏网络空间秩序。特别是2020年疫情防控攻坚时刻,却有诸如“北京封城”、“钟南山院士感染”等谣言不断,误导公众判断,严重影响社会稳定。面对社交媒体平台谣言泛滥这一焦点问题,研究出一套准确有效的谣言识别方案,在谣言发布早期依据内容与用户特征识别达到遏制谣言传播的目的,具有较大的社会意义与现实意义。当前的谣言检测大多基于文本特征、用户特征与传播途径进行,但在早期谣言检测中传播特征较少,基于单一模态信息难以有效甄别谣言,且谣言中虚假图像的影响力度越来越大,其直观的表达方式增加信息的可信度,将误导用户进一步传播,但已有研究中综合考虑图像信息的谣言检测模型较少,因此本文探究将多模态特征表达与特征融合模型应用于谣言检测领域具有一定的理论意义。本文立足于上述问题,在传统谣言检测研究和多模态融合研究的工作基础上,构建基于用户、文本、图像特征的早期和晚期多模态特征融合模型。首先,研究谣言中配图特点,针对图像篡改与图文不符两种情况选取离散余弦变换系数检测JPEG图像重压缩与Res Net提取图像的深层语义特征。随后使用Word2vec和Bert模型分别提取文本内容的词向量与句向量,使用one-hot与z-score提取用户特征。由于文本与图像内容往往有一定关联,因此需要将图文进行一致性匹配,本文利用注意力机制,联合词向量与深层语义特征,给予对谣言检测具有更多贡献的图像特征更大的权重。最后将提取到的文本特征、图像语义特征、图像频数特征与用户特征依据特征融合阶段的不同分别构建早期特征融合模型与晚期特征融合模型,得到谣言的最终检测结果。本文选取微博虚假新闻检测竞赛数据集进行模型验证,实验结果表明:早期特征融合模型相较于单一模态特征检测和晚期特征融合模型在F1值和准确率都有较高的提升,同时对比现有的两种多模态检测方法:att-RNN和EANN,本文提出的早期特征融合模型在各类模型评价指标都表现优良。此外,在早期特征融合模型中通过选取不同特征进行组合,验证了文本信息在谣言检测中的主导地位,同时图像特征可以有效提高谣言检测的准确率,验证了谣言检测任务考虑图像语义特征与篡改特征的必要性。本文的创新点主要有三个方面:第一,谣言检测中图像特征的丰富。谣言图像常是故意经过篡改,以激发用户情绪,因此本文将用于识别图像篡改任务中的离散余弦变换技术作为图像的频数特征,丰富了谣言检测任务中的图像特征选取。并验证了该特征对检测准确率的提升。第二,特征融合方法的创新。使用预训练模型提取文本与图像的语义信息,同时利用注意力机制结合文本词向量赋予图像特征不同的权重,将图像与词语进行一致性匹配有助于判断信息真实性。第三,融合方法的探索。本文依据特征融合模型层次的不同分别构建早期特征融合模型与晚期特征融合模型,并使用神经网络算法进行分类检测,进而判断消息是否为谣言,为多模态特征融合在谣言检测领域的应用提供了经验。