生成式摘要中的事实不一致性问题研究

来源 :电子科技大学 | 被引量 : 1次 | 上传用户:ltycongc2008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了能加快人们面对海量信息内容时的阅读速度,自动摘要生成技术的研究日趋活跃。其中,生成式摘要相比于抽取式摘要算法因为更有潜力生成质量更高的摘要,而受到更多研究关注。但当下其落地面临的最大阻碍是,生成的摘要中容易带有和原文内容无关甚至冲突的错误信息,该问题也被叫做事实不一致问题。当前研究发现,不同的模型在事实一致性方面的表现存在明显的差距。因此,就改善该问题而言,当前的研究几乎都集中在针对模型的改进上。但改进模型的研究路线正面临着边际收益大幅递减的窘境。例如,即便是借助目前最强大的预训练模型,在XSum数据集上训练得到的生成式摘要模型仍会输出大量的事实性错误。与此同时,目前很少有研究从关于该问题同样关键的另一方面,即数据维度,出发探讨该问题的解决方案。本文的第一个贡献是梳理了模型产生错误事实的根源,并定量分析了各个因素(包括模型和数据集)的重要程度。这个问题涉及到当前研究的瓶颈究竟在什么地方。本文通过在主流中英文生成式摘要数据集上进行实验发现,这些数据集中普遍存在占比不尽相同的,带有事实错误的样本。最重要的观察是,数据集中的错误类型和模型输出中的错误类型的比例基本对应,且对模型的改进几乎不能缓解多数几种类型的错误。这意味着目前数据相较于模型才在更大的程度上引发事实一致性问题。也正因为如此,单纯改进模型很难再带来提升。本文的第二个贡献是提出一个新的,能更好判定带有事实错误的样本的技术路线。在判定带有事实错误的样本对上,当前效果最好的方法是把该问题规约到自然语言推理(NLI)任务。然而,尽管NLI任务和事实一致性判定任务在理论上契合,但由于后者的实际应用领域多变,给定的NLI模型在领域迁移时常伴随着性能的大幅折损,致使其最终效果不够理想。为了获得一个迁移性更好的解决方案,本文随后提出基于提示词范式(Prompt)的零样本和少样本一致性判定方法,实验表明,只要选择合适的前缀词,零样本学习也能以合理的性能和可解释的方式完成事实性判别任务。而少样本学习则能在事实一致性问题上的判定准确率,以及在应用到下游摘要任务后的事实准确性和ROUGE得分上,都显著超过基于NLI的方案。
其他文献
对小国和弱国而言,政权安全是国家安全的核心,维护政权安全是这些国家的首要根本利益。海湾小国卡塔尔自哈马德上台以来,奉行独立自主的外交政策,积极参与地区冲突调解,在国内推行政治民主化和自由化改革,创建标榜“新闻自由”的半岛电视台,其国家行为特征与同一地区国家规模相当的科威特和巴林等国明显不同。卡塔尔国家行为的转变源自于其强烈的政权不安全感。因受到外部势力与国内竞争对手的威胁,通过政变上台的哈马德政权
学位
自乌克兰从苏联独立以来,乌当局多次尝试进行地方分权改革,调整原有的中央高度集权的政治体制,但这些改革尝试或沦为总统与总理、总统与议会进行权力斗争的工具,或因不具备成熟的制度设计及明确的推进表而流产。2013年底,乌时任总统亚努科维奇欲强化和俄罗斯的关系,并宣布中止与欧洲联盟签署政治和自由贸易协议。这一决定随即在乌全国引发了亲欧盟示威运动,并最终导致克里米亚危机及顿涅茨克州和卢甘斯克州局势的持续动荡
学位
新冠疫情作为人类面临的前所未有的公共卫生危机,对包括俄罗斯在内的世界各国的医疗系统、经济体系和社会秩序造成了严峻冲击。但与欧美国家起初囤积新冠疫苗等“疫苗民族主义”做法不同的是,俄罗斯在国内疫情未竟、国民接种需求尚未得到满足的情况下,利用率先注册新冠疫苗的先发优势,在独联体地区、东欧、拉美、中东和非洲等地开展了广泛而深入的疫苗国际合作,成为了疫苗这一“全球公共产品”的关键供应国。这一看似反常的外交
学位
<正>一、概述1.测量依据:JJG746-2004《超声探伤仪检定规程》2.测量环境:温度22℃,相对湿度59%。3.测量标准:超声探伤仪检定装置,频率范围:0.5MHz~15MHz,准确度:5×10-5衰减范围:0~81dB,衰减准确度:(0.5%A±0.02)dB A为衰减量。
会议
20世纪50年代,全球范围内的去殖民化浪潮兴起。60至70年代,第三世界力量崛地而起。90年代,美苏冷战的结束标志着国际体系从两极格局发生根本性转变。这一系列变化导致“小国”的数量在风云变幻的国际环境中急剧增加,在欧亚大陆上表现尤甚。表象的“小”规模是研究小国思维和行为特征的基本要素,也是解读小国行为的关键视角,但国内学界针对特定“小国”的研究仍相对较少。学界虽未就何为“小国”达成统一意见,但就从
学位
对比中亚五国以及大部分后苏联空间国家,独立后哈萨克斯坦的政权交接与过渡的过程呈现出渐进有序的特征。简言之,纳扎尔巴耶夫的稳定放权和托卡耶夫的逐步巩固地位虽然让哈萨克斯坦的政治转型看似“双头政治”的游戏,但实则是单向的、渐进的,是在纳扎尔巴耶夫的初始主导下一个逐步完善的“放权-巩固政权”的过程,因此笔者拟借助渐进转型理论对此进行阐释。这一理论认为,在有领导人的长期积极主导、领导人之间的良性互动以及对
学位
随着无人系统以及人工智能技术的飞速发展,以无人车为代表的无人平台在实际生活中已经能够取代人类完成一些复杂,危险的任务。使用无人集群进行协同围捕在灾难救援、野外考察、自然资源勘探、海盗打击等民用、军用领域取得广泛的应用。目前针对无人集群协同围捕的研究大部分侧重于对围捕算法的研究,有的仅仅停留在理论阶段,难以落地,要实现围捕智能算法从理论到实际运用的落地,必须对围捕算法的有效性进行验证,算法研究人员通
学位
报纸
民主转型常常被认为是精英主导的过程,而21世纪才完成民主转型的墨西哥案例则表明,仅仅从精英视角解释民主转型是不够的。本文以政治过程理论为理论框架,采用比较历史分析方法,从发起者的角度,将20世纪八九十年代的社会运动归类为印第安运动(下层人民)、公民权利争取运动(中产阶级)和选举运动(政治精英)。本文发现,公民权利争取运动在广泛性方面,即社会运动的诉求是否被政府所满足,表现最佳;印第安运动受到自身弱
学位
自上世纪90年代独立以来,三十年的时间中,吉尔吉斯斯坦便发生了三次暴力推翻当局统治事件。三次非正常政权更迭有着相似的发展逻辑:亲政府阵营在选举中获胜引发反对派不满,反对派便以选举舞弊、国家经济凋敝等为由,揭露当局的腐败统治,利用群众的不满煽动游行示威,进而推动抗议活动上升为暴力革命,以达到其政治目的——获取权力。然而政权更迭后,新政府再次陷入腐败、裙带关系等旧模式,由此造成了吉循环往复的政权更迭。
学位