基于多模态融合的虚假新闻检测研究

来源 :中南财经政法大学 | 被引量 : 0次 | 上传用户:poloya
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
社交媒体上的虚假新闻对于社会而言是一项重大挑战。虚假新闻可以定义为通过篡改文本、图片、视频、音频等模态内容有意创造的信息,以欺骗或误导读者。虚假新闻的大肆传播不仅会对社会产生负面影响,甚至会操纵重要的公共事件。因此,如何有效检测社交媒体平台所传播的虚假新闻成为了亟待解决的重要难题。随着近年来人工智能技术的飞速发展,深度神经网络结构可以自动地抽取模态关键特征,研究者们开始将深度学习技术应用于虚假新闻检测任务。尽管现有研究已经取得了一定的成果,但仍存在以下不足:第一,很少有研究系统性地探究基于传统神经网络表示模型和基于Transformer架构的预训练模型在虚假新闻检测任务上的性能差异;第二,现有的一些多模态虚假新闻检测模型仅进行了图文特征之间的简单融合,而忽略了不同模态之间信息冗余的现象。针对以上两点不足,本文从以下三个方面开展工作:(1)针对现有研究很少系统性地探究传统神经网络模型和基于Transformer架构的预训练模型在虚假新闻检测任务上的效果差异问题,本文分别开展了基于文本单模态和基于图片单模态表示下的虚假新闻检测研究。具体而言,对于文本表示虚假新闻检测任务,本文分别选用了Bi LSTM、Text CNN、BERT和ALBERT模型;对于图片表示虚假新闻检测任务,本文分别选用了VGG19、Res Net101、Vi T和Dei T模型。随后,本文在Weibo、Politifact和Gossipcop数据集上进行的大量对比实验结果表明,对于新闻中的文本或者图片信息,基于Transformer架构的预训练模型均可以更有效地提取特征并取得更好的虚假新闻识别效果。(2)针对现有研究中仅对图文进行简单融合的问题,本文提出了一种基于单流融合的虚假新闻检测模型。该模型首先基于BERT和Dei T分别提取文本和图片的特征,然后将图文特征分别加入对应的位置嵌入和分隔嵌入,进行拼接后输入到Transformer的编码层中,使图文信息在一个共同空间内进行交互,这样做不仅保持了单模态内的独特属性同时合理地实现了多模态间的语义对齐。对比实验结果表明,本文所构建的单流融合模型在Weibo、Politifact以及Gossipcop数据集上的识别准确率分别达到了90.1%、90.4%和89.1%,优于目前虚假新闻检测研究方向上的一些代表性模型。(3)为了探究不同融合方式对于模型的影响,本文进一步提出了一种基于双流融合的虚假新闻检测模型,模型设计了文本融合模块和图片融合模块,使得图文信息在两个不同的空间内分开进行交互。模型在初始阶段获取文本和图片特征后,融合模块首先基于注意力机制获取与另一个模态的融合特征,然后基于门控机制更新模态的原始特征。这样做不仅可以最大程度地保留图文原始特征的关键信息,同时添加了融合另一模态的互补信息。大量的对比实验和实证分析表明,相比于基线方法和单流融合模型,本文所构建的双流融合模型可以取得更优的虚假新闻识别效果,在Weibo、Politifact以及Gossipcop数据集上的识别准确率分别达到了90.7%、92.3%和89.1%。综上所述,本文系统性地分析了多种文本和图片表示模型在虚假新闻检测任务上的效果差异。此外,在图文表示模型的基础上,考虑了不同模态信息之间的相关性和互补性,分别提出了基于单流融合的虚假新闻检测模型和基于双流融合的虚假新闻检测模型,最终在多个公开的数据集上取得了优异表现。本文对后续相关研究具有一定的借鉴意义。
其他文献
我国经济社会飞速发展的同时,生态破坏、环境污染问题日益突出。自生态环境损害赔偿制度实行后,取得了多方面进展,赔偿磋商是其中一个重要机制,但关于磋商的规定仍然不够细化,因此建立赔偿磋商机制解决此类问题备受各方关注。区别于以往文献多探讨磋商的法律性质、救济途径以及程序性规定,本文从博弈的视角对磋商过程进行分析。赔偿标准是否科学合理,决定了磋商能否顺利进行以及能否得到兼顾赔偿双方利益的结果。本文梳理了国
学位
近年来,随着“新冠”疫情的爆发,在互联网上有关于该突发公共卫生事件的关注和讨论日增不减,而如何了解和把握此类事件的网络舆情,以便更好的引导舆情朝着积极方向发展,也引发了众多研究人员的思考。本研究围绕突发公共卫生事件网络舆情展开,研究具体事件背景下的网民观点演化规律,结合了观点动力学模型,预训练语言模型,图卷积网络等多种方法对观点演化过程进行建模。由于突发公共卫生事件本身所具有不确定性和危机性,同时
学位
随着现代银行间市场的发展、全球经济不确定性的深入,银行间形成了复杂的债权债务关联,该关联性为银行风险提供了扩散途径。同时,我国银行体系将面临着错综复杂的外部因素,金融体系的创新也给银行系统带来了另外的挑战和风险,迫使银行从传统向金融科技转型。另外,银行系统利用信用违约互换等方式让其关联变得更加错综复杂。因此,分析银行同业之间的关联关系,研究银行系统的风险传染机制,有着至关重要的现实作用。针对此,本
学位
股票停牌是基于提升股票价格发现效率、抑制股票剧烈波动、消除信息不对称的初衷所设立的交易机制,在保护投资者利益和稳定交易秩序上发挥了重要作用,被世界各国主要证券市场广泛接受和实施。我国于1998年开始实施股票停牌,其大致经历了信息不完全对称下的发展、证券市场发展下逐步完善和国际接轨中的探索与改进三个发展阶段。虽然监管机构在三个阶段中对股票停牌进行了多次制度变革,但停牌种类繁多、频次较高的问题始终所为
学位
近年来,国家出台“三线四档”等政策,增加房地产行业的银行借贷门槛,在这种背景下,房地产违规信贷现象屡禁不止。罚单的数量和金额表明监管机构对违法违规行为的惩治决心和力度,但也从侧面说明“罚单式”监管模式的效果欠佳。房地产开发过度依赖银行信贷,不仅危及自身,也会将房地产市场的隐患传导至银行系统,进而引发系统性金融风险。因此,商业银行房地产信贷风险亟须得到有效评价和监管,研究该问题对于引导资金脱虚向实,
学位
个人信用评估对信贷机构降低经营风险,增加营业收益具有非常重要的作用。随着大数据技术的迅猛发展和普及,快速且精准的数据挖掘以及智能学习技术成为信用评估的主流手段。信用评估可以看作是一个二分类问题,即区分客户是违约客户还是未违约客户,但不同类型的客户被识别错误给信贷机构所造成的损失是不一样的,这一特点要求评估模型不仅具有较高的分类准确率,而且也要考虑不同类别间数据样本的误分类代价。本文在充分考虑信用评
学位
近年来,云计算、大数据、物联网、区块链、人工智能等新一代信息技术发展迅猛,金融科技对金融业中的主要参与者带来全新发展思路。与欧美等发达国家相比,我国金融科技起步较晚,但正加快发展脚步,以实现超越。金融科技对我国商业银行的影响具有一定的复杂性:互联网金融的风靡,对传统商业银行带来强烈的冲击,但同时也倒逼商业银行开始转换思路,谋求新的发展路径。然而随着新一代信息技术的发展,其与金融领域的结合也越来越紧
学位
一方面,中国的城市化发展已经从注重增长速度的传统城镇化转变为注重质量提升的新型城市化,而以往的城镇化过程中产生了不少的问题,如空气污染、水污染等环保问题以及道路和房屋等城市生活问题,而交通拥堵是新型城市化建设中最重要、最紧迫的问题之一;另一方面,随着市场经济的发展以及民众生活水平的日益改善,更多的人有了属于自己的私家轿车,根据公安部门的最新数据,2019年全国注册的汽车数量新增2578万辆,全国汽
学位
随着5G技术的普及和应用,各类社交媒体平台与电子商务网站的发展迅速,网络上产生了海量涉及个人情感信息的文字数据。通过分析这些文本数据,可以更准确地获知评论者的意见,为商家的商业经营提供支持,帮助决策机构监管舆情。设计合理高性能的模型发现并分析在大量文字数据中蕴藏的情感信息,成为了情感分析中的一个重要任务。文本情感分析包括显式情感分析和隐式情感分析。目前针对显式情感分析的研究已经比较成熟,然而隐式情
学位
2021年7月,全国碳市宣布全面启动,碳质押融资贷款等创新性碳金融衍生产品得到不断丰富与发展,作为一种特殊的资产,其业务主体面对的违约骗贷等交易风险更加难以识别与监督。电力行业作为全国碳市试点先行主体,有关电力企业在碳质押融资贷款方面的研究案例较少,无法有效全面的衡量因主体间利益关系复杂而导致的系统性交易风险;目前缺少针对碳质押融资贷款领域的绿色指标披露体系,基于碳质押融资贷款的单个主体风险识别模
学位