基于深度神经网络的文本生成技术研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:kathrynde
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
被广泛认为用以衡量机器是否具备智能的标志之一就是机器是否具备与人无障碍交流的能力,而这一能力主要由隐藏在机器背后的文本生成技术来体现。随着近十年来计算机硬件技术的飞速发展带动深度神经网络的日益更新,其强大的学习能力、特征取能力以及在信息间的映射能力为文本生成模型性能的升带来新的发展契机,同时也产生了一系列新的研究问题。本文着眼基于深度神经网络框架下的文本生成技术的研究,以文本摘要和机器翻译为切入点,针对该框架下文本生成技术面临的一些问题出有效的解决方案,探索合适的生成模型,升生成系统的性能。本文的研究内容和贡献概括如下:(1)针对句子摘要任务中标记的重要性建模问题,本文出了一种基于自我感知的内容筛选机制。现有的句子摘要生成模型采用注意力机制隐式的对源文本中的重要标记进行建模,未对重要标记进行进一步强调,同时非重要标记也不会被显式的过滤。本文出的内容筛选机制在基于注意力网络对重要标记建模的基础上,根据当前摘要生成的进度对源文本标记组进行自动筛选,显式的强调相关标记过滤无关标记。为了配合筛选机制更好的进行重要性筛选工作,本文还研究了一种异步双向编码器,在不影响模型并行计算的基础上,对源文进行充分的高层特征取和标记间的依赖关系挖掘。实验结果表明,出的方法可以高效的进行标记重要性建模,升句子摘要模型的性能。(2)针对文档摘要中的片段重要性建模问题,本文出了局部内容裁剪模型。考虑到文档摘要对应的摘要内容更多,仅采用针对标记组的重要性建模帮助并不大。本文设计了一个渐进式局部内容裁剪方法用以对源文档进行片段的重要性建模,该裁剪方法能够根据当前生成的摘要词语定位源文中的重要片段,并进行动态渐进内容裁剪以控制冗余内容对当前摘要生成的影响。同时,该方法设计融合到当前主流的两种端到端框架中保证模型结构的简单高效。实验结果表明,出的方法可以有效实现对源文局部内容进行冗余裁剪以生成简洁摘要的目的,升端到端的文档摘要模型的性能。此外,本工作对主流模型的混合结构验证了文本生成工作中序列状态信息的重要性,为后续工作供了新的视角。(3)针对并行化机器翻译任务中序列状态信息缺失的问题,本文出在并行化模型中对标记序列状态信息建模的方法。出的方法以并行化模型为基础,增加了序列状态信息层为标记间的依赖关系构建和语义上下文的构建供状态信息。此外,为了辅助解码器更准确的解码译文,本文还对交互注意力网络进行扩展,实现了一个焦点自适应的交互注意力网络。实验结果表明,出的模型在同语系和跨语系的译文质量上均有所高。相关实验也证明了本工作所出的门控状态网络和焦点自适应方法可以相互辅助的进行工作。综上,本文以文本摘要和机器翻译为切入点在文本生成任务上开展研究工作,出了多个方法升当前基于深度神经网络的文本生成模型的性能。所出的方法和模型均在公开的标准数据集上验证了其可行性和有效性,也为自然语言处理领域内的其他相关研究供工作支撑。
其他文献
机器学习是大数据处理的常用工具之一。然而,依靠单个计算节点的计算能力处理大规模的数据集,不能在可接受的时间范围内将模型训练到满意的精度。通常采用多个计算节点来实现数据并行训练。每个计算节点迭代式地处理部分数据集,每次迭代都要通过网络与其他计算节点同步模型的信息,保证训练的正确性。由于模型规模通常在数百兆至数千兆字节之间,每个计算节点每次迭代都要交互等同于模型大小的数据量,例如模型的参数或者梯度,使
近几年来,忆阻器作为一种新兴的电子元件在非易失存储和神经仿生方面都有重要的应用。忆阻器是具有电容结构,能够被多次写入和非破坏性读取的二端器件,它是下一代存储器的有力竞争者。除了作为存储器件,忆阻器作为一种具有可调整状态的二端器件,与生物突触具有高度的相似性,基于忆阻器的大规模神经网络有望实现类脑计算系统,在生物神经仿生领域也具有很高的研究价值。神经网络已经具有几十年的研究历史,近年来由于深度神经网
高灵敏、快速和低成本的生物标志物检测在重大疾病的早期诊断中具有重要意义。但现有的光学传感器尚不能达到疾病早期诊断的要求,主要存在三个方面的瓶颈问题。(1)光和物质相互作用弱,难以实现高灵敏传感;(2)传感器制备重复性差,难以实现高灵敏的一次性使用;(3)步骤繁琐,难以实现快速检测。因此,如何同时实现一次性、高灵敏和快速的生化传感成为光学传感领域亟待解决的关键问题。针对上述瓶颈问题,本论文利用光微流
随着自动化技术的发展,工业机器人以其高效、低成本、重复性好等优点,在汽车制造、电子电气和航空航天等现代工业生产中得到了广泛的应用。在这些应用中,运动精度作为关键的性能指标,是工业机器人完成操作任务的重要保证。然而,由于工业机器人结构中制造误差、关节间隙、弹性变形等不确定性因素的影响,末端执行器实际的运动远未达到高精度、高可靠的性能要求。因此,精确地分析和评估工业机器人的运动精度可靠性,是确保其在工
装备制造业是一个国家工业化发展程度的重要标志。数控机床,作为装备制造业的“工作母机”,是不可缺少的“生产工具”。五轴数控机床作为高端机床的代表,由于具备两个旋转轴,拥有更好的加工柔性、更高的加工效率等优点,但同时也引入了更多的误差影响,刀具运动也更加复杂。研究五轴机床误差的作用机理,并进行检测与补偿,对提高五轴机床的加工精度具有十分重要的意义。本文以五轴联动数控机床为研究对象,考虑机床精度在几何误
自动目标识别(Automatic Target Recognition,ATR)是基于传感器获取的数据识别目标的技术,能够通过模式识别、机器学习算法实现目标的类别或属性的判定,是提升传感器信息感知能力、实现传感器技术应用的关键技术之一,具有重要的研究意义。随着传感器技术的快速发展和广泛应用,海量数据被积累,而且数据量仍在不断增加。日益增多的数据必然会对目标识别能力的提升和应用范围的拓展起到积极作用
学位
近年来,人工智能发展迅速,成为国家重点关注和建设的领域。人工神经网络作为一种模仿动物神经网络的技术,能促进人工智能行业快速发展。究其本质来说,人工神经网络是一种动力系统,本文以几类具有时滞的动力系统为研究课题,基于Lyapunov理论,着重研究了时滞神经网络的稳定性与耗散性、马尔科夫复杂网络的同步性与控制器设计、时滞复杂网络的指数同步性与控制器设计、网络攻击下的多智能体的一致性与控制器设计。具体研
近年来,得益于数据获取、储存、处理等技术的进步,机器学习算法得到了快速发展。机器学习算法起初只应用于图像分析、模式识别等计算机领域,但由于其优越的性能,机器学习算法正作为一种新方法,为解决复杂电磁学问题提供了更多选择。无线通信系统是电磁学的代表性应用。为了搭建性能优良的通信系统,需要了解信道特性,并设计出满足性能要求的电磁器件。因此,本论文以信道建模与器件设计为研究方向,深入研究了相关基础理论与关
切换正系统是一类由几个连续和离散时间的正的子系统以及它们间的切换规则构成的系统。它同时具有正系统和切换系统的性质。切换正系统广泛存在于实际生活中,因此正日益受到学者们的关注。切换正系统由于具有比正系统和切换系统更加复杂的形式,以及更加多变的性质,故而其研究工作更加复杂。与正系统和切换系统相比,目前关于切换正系统的研究还相对较少。关于切换正系统在驻留时间限制下的分析综合问题的研究有待进一步丰富。因此