基于深度学习的自动文本摘要生成技术研究

来源 :天津工业大学 | 被引量 : 0次 | 上传用户:david6357
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自动文本摘要技术是人们从互联网的海量数据上快速获取文本信息的有效途径之一。本文通过对自动摘要任务的研究背景调研,发现该任务在实际生产和生活中都有许多的应用场景。就目前国内外的自动文本摘要任务的现状来看,主要分为抽取式文本摘要和生成式文本摘要。相较于前者,生成式文本摘要可以生成更符合人们阅读的摘要文本,无论从摘要的语法上还是从摘要的质量上都有一定的优势。因此,本文主要研究了基于序列到序列的生成式文本摘要模型。本文主要研究内容包括:首先,本文通过深入调研了自动文本摘要的研究背景,了解了任务对于科研和日常生活的意义。此外,本文对该任务国内外研究现状进行了详尽的分析,发现了目前遇到的一些瓶颈和挑战。介绍了自然语言处理任务中基础的的词向量表示方法和语言模型。分析了循环神经网络和卷积神经网络的基本原理和优势。此外,本文回顾了近年来自然语言处理领域中的预训练处理模型。其次,本文介绍了基于复制机制的文本摘要模型。在经典的序列到序列框架的基础上,加入了自注意力机制和复制机制,有效缓解了自动文本摘要任务中常见的OOV和未登录词等问题。未解决神经网络对长文本序列记忆的难题,在第四章介绍了基于BERT的文本摘要模型,在编码侧获取源文本信息中丰富语义。通过迁移学习的方式得到源文本的词嵌入表示,并针对自动文本摘要任务进行微调。同时也通过门控单元对编码信息进行过滤,生成可读性更强、质量更高的文本摘要。最后,本文在大型中文短文本数据集LCSTS和英文数据集CNN/Daily Mail上进行了测试。详细验证了文中所提模型的有效性,并通过具体的摘要实例分析了模型生成摘要的过程。实验结果表明,本文提出的模型相较于基线模型有了一定的提升,并生成了质量较高的文本摘要,有效改善了自动文本摘要任务中常见的一些问题。
其他文献
随着多机器人技术的不断发展,多机器人技术在多个领域得到应用,受到了越来越多的关注。单个机器人由于自身性能的限制无法满足人们日益增长的对机器人性能需求。多机器人系统具有更好的性能,能够协作完成更复杂的工作。多机器人编队控制是多机器人技术的一个重要的方向,对多机器人编队控制进行研究具有重要的意义。本文以轮式移动机器人作为研究对象,对多移动机器人的预定性能编队控制问题进行研究,论文主要研究内容如下:对多
癌症标志物是体内发现的一种生物分子,它是癌症发现、预防的征兆,它的识别对癌症的预防以及治疗都有重要的意义。基因表达谱数据是一类非常重要的癌症标志物,从数万种基因表达谱数据中挖掘出不同癌症类型的标志物对于阐明癌症的形成机制、预防癌症的产生和发展都有重要意义。本文的研究分为三个方面:1.本文提出了一种数据标准化的方法。首先将原始数据进行标准化处理,将化学分子间的乘积关系转化为线性关系,将转换后的数据在
遮挡是实际生活中普遍存在的现象,被遮挡的物体会缺失部分信息丢失,严重影响着计算机对于图像的理解和分析,因此遮挡一直是阻碍着计算机视觉一些重要研究的发展。被遮挡的图像不便于我们对于图像的分析和处理,也影响了我们对于图像的目标检测与识别等研究。图像修复指复原图像中缺损位置的信息。主要是通过图像中现存信息的特征,去还原图像中的缺失部分。人脸修复作为图像修复领域重要的一个分支,在实际生活中具有重要的应用价
伴随着深度学习技术的不断更新发展,深度学习在多个领域都有广泛的应用。当前的深度神经网络模型变得更为复杂,这就意味着模型的参数量与计算量越来越大,对于部署模型所用的硬件平台要求也是愈来愈高。然而,诸如自动驾驶、遥感卫星目标检测等任务时,需要在极低的延迟下对周围的目标进行检测识别。数据必须在边缘端完成主要的计算,但由于边缘端对于所使用的硬件平台有非常严苛的性能和功耗限制。因此,在功耗和性能受限的情况下
目前数控机床大多采用多轴联动的形式进行零件加工,加工效率进一步得到了提高,广泛应用于航空航天、汽车等领域精密零件的加工。但数控机床多轴联动同时进行加工使得机床误差进行耦合,无疑会对被加工零件的精度产生影响无法满足使用要求。因此,本文旨在提出一种针对多轴数控机床平动轴三轴联动时误差情况进行测量及辨识的快速检测方法,并通过误差补偿工作以期提高多轴数控机床的加工精度。本文分别从机床误差建模、平动轴垂直度
科学技术的快速发展,使得医疗器械、航空航天、光学设备等领域的零件几何模型变得愈加复杂。近年来,随着精密测量仪器及图形处理器技术(GPU)的发展,三角网格因其快速灵活,适应性强的特点,被越来越多的应用于CAD/CAM领域。但由于三角网格模型只能输出实体模型的少量几何信息且数据分布不规则,使得数控加工过程中不能很好的对刀具姿态调节控制,所以目前面向五轴的曲面网格模型数控加工研究还不充分,大多局限于三轴
随着3D打印市场的愈加壮大,与互联网技术相结合的3D打印云服务平台也逐渐增多,规模化3D打印制造成为3D打印技术发展的必然趋势。与传统生产制造模式不同,3D打印制造具有一次成型、定制化、差异化、小批量等特点,所以任务调度对于集群式3D打印制造体系尤为重要。一个好的任务调度方法不仅能够指导打印制造活动顺利进行,更能够降低打印时间和打印成本,保证制造企业的利润和竞争力。为了寻找合理的任务调度方法,本文
随着三次工业革命的推动,全球的工业发展已经发生了翻天覆地的变化。如今我们正处在第三次工业革命向第四次工业革命的过渡阶段。在这一阶段中,现有的工业制造领域呈现出了数字化、信息化、智能化的趋势。而这种趋势的具体落实目标就是工业中的车间。针对车间的机器设备实现通信,收集设备的运作数据;针对车间的操作人员实现实时定位,操作流程的精准指导和记录;最后针对车间设备,人员以及生产过程等实现统一透明化管理。这三个
智能优化理论作为人工智能领域的重要分支,得到了广泛的研究和实际应用。其中,粒子群算法和差分进化算法作为两种代表算法,受到的关注尤为突出。但是,粒子群算法容易在进化后期丧失种群多样性,而差分进化算法经常出现早熟收敛和搜索停滞现象。为此,本文从融合两种算法优势、弥补各自不足的思路出发,在改进传统差分进化算法的基础上,提出了一种粒子群和差分进化融合算法,并将所提算法应用于焊接加工车间作业调度中,达到了良
切换系统是一类重要的混杂系统,其在各种领域的广泛应用引起了研究者的关注.目前针对切换系统已有的研究结果大多是关于线性切换系统的.此外,相对于大部分研究采用的传统时间触发机制而言,事件触发机制在保证对系统进行有效控制的同时,能节省通信资源,避免网络堵塞.本文将事件触发机制引入控制器设计中.针对几类带有时变时滞的切换系统进行了稳定性分析与控制设计.主要内容和研究成果如下:首先,本文研究了带有区间时变时