基于深度学习的自动文摘生成技术研究

来源 :重庆理工大学 | 被引量 : 0次 | 上传用户:wxthaoa
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的来临,全球互联网产业展现出巨大的发展活力和韧性,在数字基建和数字经济迅猛发展的同时,我国网民规模、互联网普及率以及平均每周上网时长都有迅速增加扩大趋势,这导致网民们每天都充斥在海量的网络信息里,产生了严重的信息过载问题。如何解决当前信息过载问题已经非常迫切,需要对海量信息进行信息抽取和过滤,减轻负担。而对于信息抽取最重要的一环就是自动文摘,自动文摘就是利用计算机对文本中心内容进行简要概括,文摘体现了一篇文本中心思想。本文通过对当前自动文摘技术的国内外研究现状进行研究,摘要系统从基于简单统计的摘要提取方法到基于特征工程的机器学习方法,再过渡到近年来基于深度学习的序列到序列的研究方法。尤其是基于深度学习自动文摘方法,其强大的语义表征能力、方便的端到端摘要生成能力给文本摘要技术发展带来了发展契机。但现有工作中仍存在一些不足亟需解决。因此,本文针对目前存在的问题,基于深度学习方法,探索如何更好地进行摘要建模,从而提高自动文摘的性能。
  本文针对卷积神经网络的自动文摘存在提取文本语义特征不足、长距离依赖问题以及轻量级网络块对模型的改进,提出了基于全卷积神经网络的自动文摘方法。模型输入结合位置向量使得卷积神经网络可以获得文本的位置信息,并通过Compressing块和Fusion块对卷积神经网络进行轻量级改进,增强模型特征挖掘能力;同时,结合残差网络块和多步注意力机制对关键词和关键句分别建模深入理解和融合文本语义内容;该文利用GLU(Gated Linear Units)进行非线性计算和复制机制解决稀有词汇问题。最后,该算法在CNN/DailyMail数据集上验证了该模型的有效性,结果表示该算法模型能同时保证高效并行计算以及一定的文摘效果,具有良好的理论价值和显著的统计学意义。
  另外,本文对基于序列神经网络的自动文摘技术进行深入研究。在文本信息特征提取方面,首先总结了BERT-WWM(BERT Whole Word Masking)在掩码方式构建上下文环境和文本特征;其次融入了中文语言学方面基于统计和规则的文本特征,如词频特征、位置特征、主题特征;最后引入Coverage机制全面概括文本内容。在考虑了数据集人工文摘形式的基础上,结合文本自身的固有特征,利用双向LSTM(Long Short-Term Memory)对文本信息进行自动文摘抽取。与传统方法进行对比,拥有丰富特征集合的深度学习方法提高了自动文摘的性能。
其他文献
学位
学位
学位
学位
学位
学位
学位
学位
学位
学位