随着移动互联网技术和移动通信技术的发展,社交媒体越来越广泛而深刻地融入人们的日常生活,成为获取分享信息,表达交流观点的主要途径。由于社交媒体的开放性,用户的庞大规模和复杂来源众多,容易产生各种各样的谣言虚假信息（谣言）。随着技术的变革,社交媒体信息不再仅以纯文本形式进行传播,演变为包含文本、图像和视频等内容的多模态帖子,大大增强了虚假信息的误导性与迷惑性,因此迫切需要自动化智能化方法识别并监控社交媒体上的谣言。现有的社交媒体谣言检测方法虽然取得了一定的成效,但是仍存在以下问题:（1）无法充分利用大规模单一模态预训练模型的细粒度知识信息,对帖子中概念和实体等语义结构进行层次建模和表示学习,形成互补增强的跨模态统一表示。（2）无法提取帖子各模态中片段间的全局感知关系信息,刻画多模态语义的全局感知关系,真正的从全局角度提取帖子的高质量特征,提高模型的谣言检测效率。（3）无法应对标签的稀疏并含有噪声的实际应用场景,利用小规模训练样本挖掘有效的决策信息,提高模型在谣言检测任务中的泛化性与鲁棒性。为了应对上述问题,本文基于多模态信息融合方式探索了以下几种谣言检测方法:（1）对于问题1,提出一种基于单一模态预训练模型的层级多模态交叉注意力网络。层级编码模块使用预训练模型的知识信息获取社交媒体帖子文本内容的多层次语义,文本的多层次语义信息与视觉信息通过多模态交叉注意力模块进行增强与融合,生成帖子的多模态层级表示,极大增强特征的有效性与鲁棒性。（2）对于问题2,提出一种跨模态关系感知网络。设计全局关系感知模块,显式建模各个模态分块内容的全局和局部语义关系。采用跨模态注意力模块增强并融合每个模态包含全局和局部关系信息的特征,获得帖子的跨模态统一表示,提升多模态特征的表示能力。（3）对于问题3,提出端到端的多模态半监督随机神经网络。通过学习一个函数族对分类函数的不确定性进行建模,结合无标签样本信息和高维隐变量获取联合后验分布进行分类决策,使模型能在标签稀疏且含有噪声的真实场景中获得更好的性能。采用跨模态共享注意力模块,融合和增强帖子的文本和视觉信息,获取高质量多模态特征表示。真实数据集进行的实验表明,本文提出的三种方法在谣言检测任务中皆具有优越的性能。