基于深度学习摘要生成的研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:xiao678
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代各种各样的信息喷涌而出。为了适应大数据时代,提高人们检索资料的效率,自动文本摘要技术成为研究的热点。自动文本摘要技术旨在用短小、简洁、凝练的句子表达源文本内容,是减少资源查找时间的有效手段。深度学习的发展使得对自动摘要技术的研究从抽取式摘要过渡到生成式摘要。生成式摘要模型的主流范式是编码器-解码器结构。编码器融合源文本信息,解码器利用编码器的输出生成摘要。这种方式更加符合人工生成摘要的方法,并且其得到的摘要文本更易于阅读。但是这类模型生成的摘要存在未登录词、目标文本与源文本没有明显对齐等问题。中存在的问题,本文提出基于残差连接的门控序列到序列模型和基于深层N-Gram特征的多头注意力门控序列到序列模型,并在LCSTS数据集上进行实验。本文主要工作如下:1.提出基于残差连接的门控序列到序列模型。该模型编码器在融合双向长短期记忆网络前、后向编码信息时,将二者信息通过门控电路得到融合概率,利用融合概率生成对源文本的编码。利用残差连接,弥补使用门控电路融合时损失的信息,缓解网络训练过程中的梯度问题。使用LCSTS数据集验证模型的有效性。实验结果表明,该模型生成摘要较基线模型质量更好,5层网络较基线模型的ROUGE分数提升高达7个点左右。2.提出基于深层N-Gram特征的多头注意力门控序列到序列模型。该模型采用门控机制融合双向长短期记忆网络的输出,减少信息冗余,采用三个通道的卷积模块提取文本深层的N-Gram特征,采用多头注意力机制改善目标文本与源文本没有明显对齐关系问题,并尝试使用门控注意力机制解决对齐问题。模型在LCSTS数据集上进行验证。实验结果表明,该模型相对于基线模型效果性能有所提升,单层网络ROUGE分数提升1个点左右。
其他文献
锂作为一种重要的战略性金属矿产,成为近些年来矿产资源勘探领域的热点。锂矿床的类型主要包括卤水型、花岗伟晶岩型和黏土型等。煤和含煤岩系中的战略性金属矿产研究取得了较多的进展,典型的有锗、镓-铝、铀、稀土、铌-锆等煤系共伴生金属矿产类型。煤中锂在过去相当长的时间内未被当作可从煤中开发利用的金属,仅在2008年后才得到较多关注和研究。煤中锂含量超过一定品位时,可形成与煤共伴生的锂矿床,属于沉积型锂矿床,
期刊
译前准备是口译活动的重要环节,帮助口译员在口译过程中更好地理解原文,缓解认知压力,调整过程中的口译技巧和策略,进而对口译质量产生影响。在口译中,大家普遍认为有译前准备的情况下口译员表现更好,不少口译研究已证明译前准备能提高口译员的理解能力和预测能力,减少压力,并提高口译质量。国内对于译前准备的影响涉及口译结果和口译过程,但对于同传中听说时间差的实证研究较少,且关于译前准备对听说时间差的影响多涉及印
学位
近年来,量子计算不断取得突破,使基于数学计算复杂性的非对称密码体制面临严峻挑战。量子比特由于具有不可克隆和不确定性的物理特性,在作为信息载体时,能够有效检测窃听。量子密码将量子特性和现代密码学相结合,通过量子力学方法实现密码学应用,具有理论上无条件安全性,是抵御量子计算攻击的关键技术。量子安全直接通信(Quantum Secure Direct Communication,QSDC)是量子密码的重
学位
同声传译作为高度复杂的语际转换活动,译员需要在接收源语输入的同时完成目标语输出的任务,因而自我修正现象时有发生。尽管学界目前已进行丰富的自我修正实证性研究,但却鲜有针对同传学习者的相关跟踪性研究。因此,本跟踪性研究旨在聚焦英汉同传初学者在四个月的同传训练期间的自我修正现象,基于前人自我修正框架探索性地提出一种适用于英汉同传的自我修正分类框架,从而探究学习者在修正总量,修正类别,各类修正频次以及修正
学位
深度学习近年来在图片分类、图像生成、文本情绪分析等领域获得巨大成功。在深度学习中,深度卷积网络因为利用了权重共享和稀疏连接特性在机器视觉中有着广泛应用。尽管深度卷积网络有强大的拟合能力,但是网络的训练非常困难。在以前的文献中,利用残差连接改善了深度卷积网络训练困难的问题。受到残余连接与神经微分方程的启发,本文提出使用学习到的中间特征的拉格朗日多项式插值的形式,通过多次利用低级特征降低网络的估计误差
学位
电话口译指译员借助电话或手机提供的一种远程口译服务。电话口译的时间、空间限制较小,对口译员的能力要求相对较低,具有便利性高、成本较低等优势。同时非言语信息的缺失、口译话题的不确定性,这些因素也给电话口译员的工作带来了挑战。戈夫曼的参与框架理论认为,会话参与者通常会拥有一到多种不同的身份,从而形成参与框架。参与者角色可分为发声者、作者和责任者,发声者不改变原话内容和形式,也不为说话内容负责;作者通常
学位
报纸
作为影响力最深远、引入我国最早的口译理论,释义理论以及该理论的核心主张-脱离源语语言外壳假说无疑在指导口译教学与实践方面发挥了极大的作用,但即便如此,该理论仍存在诸多问题等待探讨。本研究从实际口译学习过程中遇到的问题出发,即汉英同传和英汉同传相比,学生普遍认为汉英同传难度更大,而且受母语形式的影响更大,英语词汇、句型积累的匮乏也导致他们在翻译时倾向于直译,很难做到摆脱源语形式,而这又和释义理论所主
学位
自我评价和同伴评价在语言学习中有利于学生反思,提升学生自主学习能力,但其准确性和可靠性仍存在争议。目前,口译研究已开始关注自评互评这一话题,但相较于写作和口语评估研究,口译的自评互评研究略显不足。且已有研究较少关注语言和口译能力与评估能力的关系。对此,本研究招募了十二位被试,探究口译和语言能力对学生评价能力的影响,拟为口译课程设计和自评互评在口译课堂的实践提供建议。研究为期一学期的历时研究(共三次
学位
无线自组织网络具有无中心、自组织的特点,最早应用于军事领域,后来扩展到灾区救援,临时通信等场景。作为无线自组织网络协议栈的关键组成部分,介质访问控制(Medium Access Control,MAC)层接入协议一直受到国内外学者的广泛研究。其中,带有冲突避免的载波监听多址访问接入(Carrier Sense Multiple Access with Collision Avoidance,CSM
学位