基于文本结构信息的长文本摘要生成研究

来源 :苏州大学 | 被引量 : 0次 | 上传用户:ppmm112233
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自动文本摘要技术一直是自然语言处理中的热点与难点。近年来,针对新闻文本的摘要生成研究较多,且已日趋成熟。相比于具有较固定结构的新闻文本,还有一些长文本具有复杂的文本结构,如专利、剧本等。由于这些文本的摘要研究不多,使用传统文本摘要方法生成的摘要存在着内容不准确、覆盖不全面等问题。以往的大量研究主要集中在对语义信息等序列化信息的使用上,而相关研究表明文本结构信息对于摘要的生成同样具有较大的作用。本文拟通过研究利用文本结构信息来提高长文本摘要的质量,并在具有典型代表性的专利和剧本文本上进行实验。具体包含以下三个方面:首先,针对长文本中存在复杂的上下文关系,主流模型难以有效利用其上下文结构信息的问题,提出了一种基于上下文结构信息的长文本摘要方法。该方法通过解析原文结构,使用并列结构和句间关系来表示上下文信息。在编码器阶段,引入图卷积神经网络,分别使用字级别编码和句级别编码来表示句子内部和句子外部的上下文关系,将二者融合形成最终表示提供给解码器来生成摘要。实验结果表明,该方法与传统生成方法相比,在ROUGE评价指标上有显著提升。其次,针对长文本中存在对话结构难以建模,传统模型无法充分利用对话信息的问题,提出了一种基于对话结构的长文本摘要方法。该方法利用原文中人物角色之间的对话关系,构建对话顺序结构和对话交互结构图,引入图神经网络对其建模,通过对话结构来表示句子与其他句子之间的关系,最后通过分类器完成摘要抽取任务。实验结果表明,引入对话结构能够提高抽取摘要的质量。最后,针对长文本中场景结构信息不足以及关键信息缺失的问题,提出了一种基于场景结构信息的长文本摘要方法,该方法是一种结合抽取和生成的摘要方法。首先在对话结构的基础上,深入分析原文的场景结构和人物信息,通过图神经网络融合多种结构来抽取关键句,作为生成模型的输入。然后基于BART预训练模型,在输入端额外加入场景和人物嵌入表示来丰富输入文本的语义特征,最后通过自注意力解码器生成摘要。实验结果表明,该方法在ROUGE评价指标上有显著提升。
其他文献
“双减”政策强调学校要满足学生多样化的学习需求,制定丰富的课后服务实施方案。作为初中物理教师需要在课后服务中积极开展科普活动、科学社团课。义务教育物理课程标准指出,有效地开发和利用课程资源是切实提高物理教学质量的有效手段。所以在设计新授课、延时服务课时,如何筛选、开发、应用课程资源以加深学生对基础知识的理解、激发学生科学兴趣、拓展科学视野,成为一线物理教师必须解决的问题。国家为提高国民科学素质,除
学位
元学习作为近年来机器学习领域提出的一种新范式,旨在从多个任务中学习经验,从而更快更好地适应于新任务。作为元学习的重要应用场景,小样本学习旨在研究样本稀少情况下学习算法的泛化性问题。目前,研究者们已提出众多有效的元学习算法,使得小样本分类任务的准确性得到提升。然而,我们发现这些算法仍然存在待解决的问题,比如样本数据的复杂性、噪声数据或模型假设所引起的不确定性问题,阻碍了现有模型的进一步提升。针对上述
学位
语义角色标注(Semantic Role Labeling,SRL),又称为浅层语义分析,其目标是识别句子的谓语论元结构,包括句子中的所有谓词,以及谓词相关的论元。首先,为了解决多领域SRL数据集匮乏的问题,本文人工标注了一个较大规模的多来源多领域汉语SRL数据集,进而开展了跨领域SRL方法探索。考虑到语义和句法的紧密联系,本文的另一个重点是如何在跨领域SRL模型中有效地使用句法信息。本文尝试了两
学位
近年来,我国的交通系统飞速发展,各类交通工具不仅丰富了人们的出行选择,也拉近了人们的地理空间距离。与此同时,城市的交通拥堵现象日益严重,不仅增加了人们的通勤成本,还容易导致特大安全事件的发生。为了缓解交通拥堵带来的各种影响,城市路况的精准预测显得尤为重要。其中,交通流预测旨在分析交通流的历史规律,从而推演未来的交通演化情况。本文将重点研究交通流预测技术的发展,分析现有研究方法的优势与不足,并提出针
学位
随着金融交易市场的迅速发展,互联网金融和移动金融逐渐成为投资交易的新型金融业务模式,这给投资者带来了极大便利的同时,也使得金融市场的交易数据呈爆炸式增长。在金融资产的交易过程中,订单流的限价指令信息形成了限价指令簿。投资者能够利用限价指令簿来预测金融资产的价格趋势,并根据预测的结果进行交易决策。目前,限价指令簿趋势预测的主流方法是深度学习方法,其中大部分方法只采用限价指令簿的事实信息,少量方法会兼
学位
场景图生成任务是对图像理解的一种结构化表示形式,这种表示形式不仅可以为基本的目标识别任务提供上下文线索,还可以为更广泛的高级视觉任务提供价值,应用前景十分广泛。针对模型中的单峰偏置问题和数据集中的数据偏置问题,论文首先研究模型单峰偏置缓解,通过引入协同策略来缓解单峰偏置,并基于提出的场景图生成模型展开数据偏置缓解的研究,重点研究了奖惩策略下和类平衡策略下的场景图生成方法。主要工作内容如下:(1)针
学位
捆绑销售旨在向用户推荐捆绑的商品包,具有着重要的营销价值。互联网技术的浪潮推动了对捆绑销售场景的研究,根据不同的捆绑销售场景,将推荐任务划分为商品包推荐、合购者推荐和多任务推荐,并在图神经网络的框架下,推进对这三个推荐任务的研究。主要内容有:(1)针对向用户推荐捆绑商品包的问题,本文提出了模型IHBR。模型根据用户的对捆绑商品的购买意图探究了商品之间的共购、共现关系,使用自注意机制学习商品依赖性,
学位
随着智能移动设备的发展和普及,各种基于位置的服务提供商不断涌现,为用户提供丰富多彩的服务,比如查找最近的餐馆、规划出行路线等。路网最短路径及其距离查询作为各种服务最核心、最高频的操作,它的计算效率极大地影响着服务质量和用户体验。现有的最短路径及其距离查询算法,没有充分挖掘、利用查询和路径的时空信息,算法计算效率不能满足实际应用需求。本文在分析现有工作不足的基础上,深入研究路网最短路径及其距离查询算
学位
抽象语义表示(Abstract Meaning Representation,AMR)是一种新型的句子级语义表示方法,它将句子的语义表示为一个单根有向无环图。AMR文本生成(AMR-to-text Generation)任务的目标是获取与给定AMR图具有同样语义的句子。随着神经网络在自然语言生成领域中的兴起,序列到序列模型在AMR文本生成任务中也取得了很好的性能。本文围绕基于序列到序列Transf
学位
缺陷检测是工业生产过程中把控出厂产品质量的关键步骤,实现自动化缺陷检测对促进“智”造业发展有着重要意义。近年来,深度学习算法被广泛应用于缺陷检测领域并取得了不错的检测效果,但现有的相关研究大多仅针对某特定的检测场景,且对运行检测程序的设备性能要求较高,不具备良好的可迁移性和推广价值。文中通过总结缺陷检测应用场景的共性,使用基于神经网络的机器视觉方法设计并实现了一个可迁移、高适配的缺陷检测应用框架,
学位