基于多粒度异质图注意力神经网络模型的自动文本摘要研究

来源 :西南财经大学 | 被引量 : 0次 | 上传用户:eric7272
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息社会的快速发展,文本数据的数量呈现指数级增长,这催生出了自动文本摘要生成的需求。自动文本摘要旨在快速且准确地抽取文本的关键信息,生成文本摘要,有效提高用户阅读效率。目前,许多学者提出了基于图神经网络模型的文本摘要方法。然而,大多数模型面临以下问题:1)不能有效地编码除句子之外的语义节点;2)不能获取多种跨语句的元路径。另外,如何保证摘要的话题覆盖度和多样性也是文本摘要任务的一大挑战。针对以上问题和挑战,本文提出一种基于多粒度异质图注意力神经网络模型的文本自动摘要方法,有效提升文本自动摘要效果。本文主要工作及创新点如下:(1)本文使用多粒度异质图(Het G)对文档进行建模。不同于传统图构建方法仅建模句子节点,本文还建模多个其他粒度的语义节点,包括:关键词和话题。本文使用这两个节点充当中介以构建包含句子节点的元路径,例如:句子-关键词-句子(Sentence-Keyphrase-Sentence,SKS)和句子-话题-句子(Sentence-Topic-Sentence,STS)。这种图结构的组织方式能获取到文本中更丰富的语义信息。(2)本文提出了一种用于摘要抽取任务的异质图注意力神经网络模型,该模型通过嵌入Het G可以具有多粒度的语义表示。该模型基于层次结构的注意力机制,包括节点级和语义级。节点级别的注意力机制可以学习节点与其基于元路径的邻居之间的重要性,而语义级别的注意力机制能够学习不同元路径的重要性。此外,为了更好地整合句子全局知识,本文在局部节点级注意力机制中进一步合并句子节点的全局重要性。(3)本文在两个数据集CNN/Daily Mail和NYT50上进行实验,本研究的模型将CNN/Daily Mail数据集的ROUGE-L指标从40.75提升至41.13,将NYT50数据集上的ROUGE-L指标从44.97提升至45.14,实验结果充分证明了本研究提出的基于多粒度的图注意力神经网络模型在文本摘要任务上的优越性能。
其他文献
线缆成卷是线缆生产过程中的重要环节,在线缆成卷过程中受线缆盘具不规整的影响容易产生线缆跳匝与叠匝现象以及塌边问题,造成缠线质量不稳定。由于缠线质量的原因容易造成线缆表皮的刮伤、不美观以及长度不精准等问题,影响产品的销售。随着自动化与机器视觉的发展,需要一种采用视觉技术的智能成卷系统来解决目前依赖人工调节的缠线方式,因此研发一款自动化程度高、稳定、高效的线缆成卷系统具有重要意义。目前在线缆成卷过程中
学位
近年来,互联网借贷蓬勃发展,出现了一系列风险管理问题,导致借款人合法权益受损,相关部门也出台了政策对互联网借贷的发展进行约束和管理。信托公司作为具备贷款发放资格的金融机构,近年来也在积极转型,通过移动互联网这一便捷高效的获客途径为广大借款申请人提供小额贷款资金,为了合规、高效地开展互联网借贷项目,信托公司也需要主动拥抱机器学习技术来对互联网借贷项目进行风险管理,以更大限度的减少项目损失、提升项目盈
学位
在互联网时代,大量面向公众提供服务的互联网公司都需要监控自身的网络服务情况和服务器健康状态等数据,以保证能够提供正常的服务访问,也就是运维工作。但随着上网用户的激增,互联网能够提供的服务越来越多,需要监控的数据也在不断增加,传统的人工运维已经无法再适应高速发展的互联网时代。运维技术也随着人工智能技术的进步而进入了智能运维(AIOps)时代,异常检测任务的目标则是通过使用人工智能算法自动的发现运维数
学位
近年来,信息技术服务外包(ITO)飞速发展,金融企业积极引入IT外包,创新发展。但是,随着大数据、人工智能等创新技术日新月异的发展,金融行业竞争形势愈加严峻,软件系统的重要性不断加强,在需求迭代更高频、技术迭代更快捷、研发团队更庞大的多重压力下,软件研发服务外包项目管理难度仍旧不断升级,生产风险不断加大。面对这种情况,发包企业却普遍缺乏有效的质量评价方法,无法及时清晰的评判外包项目的质量情况,因而
学位
目的:探究基于BI指数的分级康复护理策略对脑卒中后患者神经、运动功能及生活质量的影响。方法:选取2019年6月至2021年12月在我院行脑卒中疾病治疗的80例患者,按照随机数字表法划分为对照组、研究组,对照组:40例,实施常规护理干预,研究组:40例,在常规护理基础上实施基于BI指数的分级康复护理策略。结果:干预后,研究组患者神经功能总有效率及生活质量评分明显高于对照组,(P <0.05);研究组
期刊
目的 探讨强制性运动疗法联合现代康复对老年脑卒中患者痉挛状态、肢体运动功能及生活质量的影响。方法 80例老年脑卒中患者随机分为两组各40例,对照组采用强制性运动疗法,观察组采用强制性运动疗法联合现代康复,比较两组的痉挛状态、肢体运动功能和生活质量。结果 治疗后,观察组的Ashworth痉挛评定量表分级优于对照组(P <0.05)。治疗后,两组的肢体运动功能评分和生活质量评分均高于治疗前,且观察组的
期刊
近年来,区块链项目变得越来越流行,尤其是随着其技术的不断完善及相关应用场景的落地,受到的关注度也越来越高。据相关研究统计,2020年全球企业区块链支出规模达到40亿美金,相较2019年接近翻倍。2015年以来,我国区块链行业市场规模也一直处于持续增长阶段,从2015年的0.06亿元快速增长至2020年的54.46亿元,且被作为新一轮产业革命技术纳入了国家级发展规划。然而目前作为区块链领域基础设施的
学位
矩阵半张量积(STP,Semi-Tensor Product)是我国中科院程代展教授的一项重大理论创新成果,该理论打破了传统矩阵乘法Cm×n=Am×p·Bp×n对乘积矩阵维数的限制,不对参与乘法的矩阵做要求,而且保留了传统矩阵乘法的绝大多数性质,例如矩阵乘法的分配律、结合律,因此可以看成是传统矩阵乘法的一种理论推广。这种跨越维数的特点,使的矩阵半张量积成为刻画有限集之间相互关系及有限维空间多线性映
学位
中国加入互联网大家庭已近30年,社会资产分配方式种类增加,新型财产的种类呈倍数增长。随着5G时代的到来,人们的消费方式风云变换,微信、淘宝和抖音等app和我们的日常生产和生活融合为一,账号价值日益凸显。虚拟财产作为新兴事物,借助网络空间环境发展较快,其交易的数量和金额的增长速度不断加快,但是在虚拟财产的税收征管方面,存在着消息隐匿、信息的查询处理上有困难、服务水平不高、电子发票管理混乱和人们纳税意
学位
大力发展普惠金融,不仅有利于金融业可持续发展,也能助力经济发展增进社会公平,是我国全面建设小康社会的必然要求。商业银行需发挥金融服务职能,加大对“小企业”和“小行业”的金融支持,从而弥补金融服务不均衡和地方金融基础设施有待加强的问题。但目前我国的普惠金融发展水平不高,农户和金融信贷机构之间信息不对称、农村信用评估体系不完善等问题导致金融信贷机构不能准确客观对农户的信贷授信能力做出准确评估,从而导致
学位