基于深度学习的中文自动摘要生成技术研究

来源 :四川师范大学 | 被引量 : 0次 | 上传用户:a563241195
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
通过计算机从中文文本中提炼摘要,可以帮助人们从海量数据中快速获取关键信息,提高阅读效率。目前,基于Seq2Seq模型的生成式摘要技术是中文信息处理的研究热点。本文基于LSTM构建了融合词性特征和注意力机制的Seq2Seq生成式摘要模型,同时,提出基于GPT预训练模型的中文摘要生成方法,改善摘要生成质量。在2017NLPCC会议公开的自动摘要任务数据集上进行验证分析,采用ROUGE评测摘要生成质量。本文主要工作如下:(1)设计实现了融合词性特征与注意力机制的BERT-Bi LSTM-LSTM中文自动摘要模型。基于循环神经网络(RNN)构建的Seq2Seq模型存在以下问题:1)RNN存在近距离梯度主导问题,导致对远距离文本记忆效果差;2)编码器输出维度固定的上下文向量,导致中间语义向量存储原文信息量有限;3)模型没有考虑到词性因素对生成摘要词汇的影响。针对以上问题,本文构建了融合词性特征和注意力机制的序列到序列模型,该模型运用BERT中文预训练模型构建词嵌入,编码器使用双层Bi-LSTM结构,解码器采用单向四层LSTM架构。通过实验证明,本文提出的融合模型改善了生成摘要质量,相比基线模型,本模型在F1值上提高了3.38。(2)提出了一种基于GPT预训练模型的中文摘要生成方法。循环神经网络是一种链式结构网络,无法并行计算。本文引入基于Transformer的GPT预训练模型,研究发现,GPT预训练模型具有泛性,模型微调对数据量以及算力设备要求低;但模型采用BPE编码,生成摘要中存在停用词和标点符号,导致摘要评估不合理。为此,本文构建融合词性特征的GPT微调模型,首先调整编码粒度到词级,其次,在输入中融合词性特征,最后对模型进行微调。通过对比实验,该模型比基线模型在F1值上提高了2.66。(3)将构建模型作为后台模型支撑,构建基于B/S架构的中文自动摘要系统,为用户提供界面体验中文摘要自动生成,同时,收集用户提交数据,为后期模型优化储备数据资源。
其他文献
纪实类节目是近几年电视荧幕中极为活跃的一种节目类型,在新闻节目、专题片、纪录片当中几乎都可以看到纪实性的存在。纪实类节目存在的价值在于对过去或现存事物的记录,从而还原并揭示生活本身所富有的内涵和价值。新媒体掀起的创新狂潮,使得纪实类节目的形式也在不断更新,而在这中间,主持人担任的角色也在发生改变。主持人只有对自身角色进行准确定位,并实现角色的个性化塑造,才能在多元背景下占据牢靠地位。本文结合笔者毕
《经济周报》是1945-1949年间上海出版发行的对国内外具有较大影响的理论性经济刊物。目前,该刊物已有相关纸质版和电子版出版发行,但学术界对其缺乏专题系统研究。《经济周报》作为大众传播媒介之一,主要内容是对这一时期国内外经济问题和经济理论进行了理论性和现实性的综合研究报道。例如,关于国内经济问题中的农业问题、对外贸易问题和通货膨胀问题;关于国际经济问题中的美国与英国、苏联与东欧国家以及部分亚洲国
漕运史研究是大运河历史文化研究的重要方面。自进入21世纪以来,学界关于漕运史的研究成果丰硕。这些论著围绕我国各个历史时期大运河的历史变迁、河道整治、漕运管理等问题展开研究,探讨漕运对大运河沿线地区的经济、社会、文化等方面产生的影响。伴随漕运史研究的深入,不少与之相关的史料文献先后被整理汇总和出版,催生了运河学的产生和发展。系统梳理和回顾总结这些学术成果,对把握当前研究现状及指导今后大运河漕运史研究
分子性质预测是一项基础且重要的研究,准确预测分子性质在化学信息学的各个应用领域中都受到广泛关注,例如工业应用,环境工程及药物设计等。近年来,数据驱动方法取得的巨大成功以及机器学习技术的落地应用,加速了各个领域信息的交叉融合,也为分子信息获取带来了新的挑战和机遇。本文提出利用分子动力学和机器学习的方法分别对微波作用下超临界水的热力学性质,化合物分子的水溶性和水合自由能进行了预测研究。首先,通过分子动
特征选择是数据分析对数据降维时常用的方法,有效的特征评估方法是特征选择的基础与关键.模糊邻域粗糙集作为一种较新的处理不确定性的数学模型,基于它的不确定性度量可以作为特征评估的工具.但目前在模糊邻域粗糙集上的不确定性度量的构建还不够完善,尤其是从信息表示方面讨论的度量甚少.为了挖掘更好的特征选择算法,本学位论文采用代数表示与信息表示的复合构建,建立和深化了模糊邻域粗糙集的决策熵不确定性度量体系;基于
离群检测是数据挖掘研究的重要组成部分,其任务是,在给定数据对象集中发现那些与其他大部分对象相比有显著不同特征的对象。在大部分数据处理方法研究中,数据对象之间的这种差异性很可能被视为噪声而丢弃。实际上,罕见数据对象的出现对数据集的分析与处理可能蕴含着更大价值。离群点检测方法有很多,在一些特定应用场景中,比如在分布复杂且不确定数据集的离群检测中,粒计算提供了一套基于粒化思想应用于复杂问题求解的理论框架
淮安位于大运河畔,是国家著名的历史文化名城之一,被称作"运河之都"。自从2014年6月中国大运河被列入《世界遗产名录》以来,有关大运河和漕运文化的研究如火如荼。中国漕运博物馆作为漕运文化的代表,其视觉形象设计是展现博物馆形象的重要形式之一。时至今日,受众对博物馆的需求不再只限于珍贵文物的展现,其视觉形象设计也是当代博物馆设计的关键因素之一。本文从中国漕运博物馆视觉形象设计的必要性入手,提出该博物馆
属性约简是粗糙集理论的主要内容,也是数据分析的有效手段,相关研究具有重要价值及意义.传统决策分类属性约简适用于所有决策类优化,针对实际中存在的局部优化需求,特定类约简应运而生.粗糙集的不确定性主要存在于边界域,而基于边界域的属性约简主要停留在决策分类约简,相关的特定类约简罕见相关研究报道.为此,本学位论文基于粗糙集不确定度构建,对比决策分类不确定度约简,提出特定类不确定度约简,研究约简横向关系、层
“智慧家庭”是依托智能家居技术的一种科技生活方式,由于多种因素,智能家居的发展始终处于内热外冷的状态。对于“智慧家庭”,大多数消费者的认识还仅停留在单一的智能硬件产品阶段。动态图形这一信息传播形式,为进一步推广和普及“智慧家庭”概念提供了优质解决方案。首先,文章论述了“智慧家庭”的相关概念、动态图形的造型特征,分析动态图形在“智慧家庭”概念推广中的适用性,将动态图形与电影电视艺术、影视动画、静态图
单幅图像超分辨率重建(SISR)是一个经典的计算机视觉任务。单幅图像超分辨率重建主要目的是对输入的单幅的低分辨率图像进行空间分辨率的放大,使其成为高分辨率图像的技术。由于一张低分辨率图像可以由多张不同的高分辨率图像下采样而来所以使得超分辨率重建是一个病态问题。并且下采样的倍率越大,使得缺失的信息越多使得重建任务就会越为困难。近年来,使用卷积神经网络进行单幅图像超分辨率的结果远好于使用传统方法的重建