语义信息增强的生成式文本摘要算法

来源 :北京理工大学 | 被引量 : 0次 | 上传用户:kof2112
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
的目标是将输入的长文本自动地概括为短文本,在减少文字长度的同时,尽可能地保留输入中的核心信息。在当今信息爆炸的社会,这一任务有着重要的应用意义。近年来,深度学习被广泛应用于这一领域,基于编码解码框架的生成式文本摘要模型能够根据输入的文本,灵活地从广阔的词表中生成对应的摘要。然而,现有的文本摘要模型可能会产生非事实性的摘要,这是模型在读入无额外语义信息的纯文本序列时错误地理解了输入文本中单词之间的关系导致的。本文提出了一种将依存句法树引入模型的算法,以丰富的语义结构信息提高模型简化复杂文本的能力,从而解决上述问题。在DUC 2004数据集上的实验结果证明了我们所提出的算法的有效性和优越性。本文的主要工作如下:(1)本文对现有的基于编码解码框架的序列到序列模型进行了调研,并总结了其对自然语言的表达能力的缺陷。(2)为了弥补现有模型的缺陷,本文提出了一种将句法信息加入序列到序列模型的方法。为了保留现有的序列建模方法在每个单词处能获取完整的句子的信息的优势,本文对依存句法解析树进行了序列化处理。考虑到自然语言在本质上是分层的,依存关系亦是一个有向的信息源,本文在编码器部分分层建模了单词序列信息和其依存信息,并将分层特性推广到了解码器的注意力机制上,提出了依存信息敏感的注意力机制。相比于现有的方法,本文所提出的方法,通过丰富的句法信息更好地建模了输入的文本,并在生成摘要时提供了重点更明确的上下文向量,这些改进能有效提升模型在高维空间中对语言的表达能力。(3)实验结果中与基线模型的对比显示了我们的模型在ROUGE评测指标上有了明显提升,证明了本文所提出的方法的有效性。而通过定性地分析模型的输出结果和定量地分析模型与基线模型在不同长度输入上表现的差别,我们证明了加入依存关系的模型更好地理解了单词之间的关系,并提高了捕获长距离依赖的能力。
其他文献
山楂,又称山里果、山里红、红果,是一种药食同源水果,具有消食健胃、行气散瘀、活血化痰、降脂、降压等功效。本文以本地山楂为研究对象,研究了山楂不同溶剂提取物的化学成分
基督教作家德尔图良(Tertullian)著有《女性的风尚》两卷本。其中第一卷的内容涉及女性应该如何着装和装饰。在本篇硕士论文中,针对以下研究问题对第一卷进行了英文翻译和注解:第一,他以这种方式呈现给当代基督徒的是什么样的形象和目标?德尔图良在文本中用苛刻的话指出,基督教妇女不应用珠宝和黄金装饰自己,因为珠宝和黄金是堕落于天堂的恶魔的工具。第二,德尔图良为什么要着眼于女性的外表?这与支持教会活动的
昆明市轨道交通3号线起于西山公园,终于东部客运中心,沿途设置春雨路站、人民西路站、东风西路站、东风东路站、太平路站等车站,全长23公里。研究区的石咀车辆段,场区区域地貌属滇东高原盆地区,为低山丘陵与湖盆岸坡过渡地貌,地形较平缓。场地特殊岩土主要为软土和人工填土,以泥炭质土层最有代表性。为保证石咀车辆段稳定、安全,设计采用水泥搅拌桩进行该段内软土的加固处理。研究区泥炭质土呈灰黑色,可塑状为主,局部软
涡轮增压技术是目前提升内燃机动力性、经济性,改善排放,降低污染的重要手段。常见的固定截面涡轮增压器与内燃机匹配时存在低速转矩不足,瞬态响应迟缓、部分负荷下经济性较
目的:对不同塑料输液包装容器材料进行可提取物研究,并且建立其中常见可提取物-(3,5-二叔丁基-4-羟基苯基)丙酸(1号相关物质)和(3,5-二叔丁基)-1-羟基-4-羰基-2,5-环己二烯)-
话语体系作为一个历史性、思想性、时代性、人类性概念,是多要素交互作用的功能系统,本质上是为话语权服务的。中国特色社会主义话语体系既有一般话语体系的物质、文化属性,
我国中东部地区煤炭资源逐渐枯竭,煤炭资源开采逐步向西部地区发展,然而侏罗系弱胶结岩层广泛分布于我国西部地区,此类岩体胶结性差,层间粘合力差,遇水砂化泥化崩解,在此类岩
宫缩能够促使胎儿排出母体,而且伴随宫颈扩张和缩短的规律宫缩是分娩临近的重要标志。随着分娩的临近,宫缩会越来越频繁和规律。在37周以前的分娩被称为早产,而宫缩状况和宫颈长度是现在临床上诊断早产的重要依据。2010年全球早产率大约为10%,而且早产已经成为导致五岁以下儿童死亡的第二大原因,仅次于肺炎。所以对宫缩进行有效监测对孕妇和胎儿的健康具有十分重要的意义。本课题的研究内容包括,研究宫缩和非宫缩段子
随着绿色化学的研究发展,离子液体因其独特的性质近年来成为研究热点并被广泛应用于催化领域。离子液体与其他均相催化剂一样,催化效率高,但回收性能差。而聚合物负载离子液
19世纪中叶以降,英美等西方国家为攫取海外资源,争夺世界市场,不断以武力叩开各国大门。资本主义在亚洲的扩张势不可挡,东亚地区震荡频繁,国家间平衡关系和力量对比发生深刻