融合篇章知识的汉英神经机器翻译研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:ss501love
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器翻译是人类打破语言屏障、实现语言互通的关键技术,也是自然语言处理和人工智能领域最重要的研究方向之一,因此,机器翻译研究不仅具有重要的应用价值,也具有重要的理论意义。当前,神经机器翻译在捕捉词与词的语义关联以及句子翻译上取得了长足的进展,已经成为当前主流的机器翻译技术。面向篇章的神经机器翻译在融合篇章上下文信息方面的研究也涌现出很多成果。然而,当前篇章神经机器翻译在建模篇章内句子或小句间的篇章结构关系方面存在着不足,导致翻译模型经常生成连贯性和可读性都较差的篇章译文。尽管研究者们提出了很多利用上下文信息的方法来解决这个问题,但这些方法大多依靠参考大范围序列化的篇章上下文信息获取篇章知识,其建模缺乏针对性,融合篇章知识的方式也较为粗浅,并不能有效地获取深层的篇章结构语义知识。尤其在面对像汉语这种意合型、隐式篇章关系较多的语言时,上述方法在融合篇章结构知识方面的效果较差。因此,在神经机器翻译中探索更为精准有效的篇章结构知识建模和融合机制,对提升篇章译文的连贯性具有重要的意义。本文围绕如何在汉英篇章神经机器翻译中建模和融合篇章结构知识这个中心问题,结合篇章结构分析理论,提出一系列的解决方案。论文的研究方法及成果总结如下:(1)提出了一种融合小句对齐知识的汉英神经机器翻译方法当前神经机器翻译建模篇章结构知识的问题在于:没有明确的基本建模单位,建模缺乏针对性,篇章结构知识的融合方式也较为粗浅。针对此问题,本文提出把小句作为篇章结构的基本建模单位,并深入研究汉英双语基于小句的篇章结构对齐方式,以及将小句对齐的篇章结构知识融入翻译模型的方法。一方面,本文采用人工和自动相结合的标注方法构建了大规模的基于小句对齐的汉英平行语料库,为神经机器翻译模型提供了显式的小句对齐知识;另一方面,本文设计了一种融合小句对齐知识的汉英神经机器翻译模型,该模型通过增强源端基于小句成分的句子语义表示,以及增强源端和目标端的小句对齐学习来有效地融合小句对齐知识。实验结果表明,本文提出的方法可以有效地建模和融合篇章结构知识,提升篇章神经机器翻译模型的性能。(2)提出了两种融合篇章主从结构对齐知识的汉英神经机器翻译方法当前篇章神经机器翻译缺乏在语义层面对篇章主从结构知识的建模和融合,导致模型在面对复杂长句时经常出现源语言和目标语言主从结构转换错误,严重影响到篇章翻译的语义连贯性。由于汉英语言形式上的差异,语义连贯性问题在汉英篇章机器翻译中尤其突出。针对此问题,本文探索在汉英神经机器翻译中对篇章主从结构知识进行建模,并提出两种融合篇章主从结构对齐知识的神经机器翻译方法。具体来讲,本文首先采用人工和自动相结合的标注方法构建了大规模的汉英篇章主从结构平行语料库,为神经机器翻译提供了丰富的篇章主从结构对齐知识。在此基础上,本文进一步提出了:融合篇章主从结构编码的神经机器翻译方法和融合篇章主从结构对齐知识的多编码器神经机器翻译方法,分别从编码策略和模型结构两个方面探索篇章主从结构对齐知识融入神经机器翻译的方法。实验结果表明,本文提出的两种神经机器翻译方法均能有效地建模和融合篇章主从结构对齐知识,进而提升神经机器翻译模型的性能。(3)提出了一种基于多粒度融合和多任务学习的篇章神经机器翻译方法当前篇章神经机器翻译面临的一大挑战是篇章级训练数据稀缺。如何在篇章训练数据匮乏的条件下训练神经机器翻译模型学习篇章结构语义知识是当前机器翻译研究需要解决的问题。针对此问题,本文提出了一种基于多粒度融合和多任务学习的汉英篇章神经机器翻译方法。一方面,在神经机器翻译中引入了基于小句、句子和篇章三种粒度的篇章上下文结构性信息,从多粒度融合的角度学习篇章结构知识。另一方面,在翻译任务中加入句子连贯性检测和句子复原两个篇章连贯性建模的辅助任务,使翻译任务与辅助任务以参数共享的方式进行联合训练,从而通过辅助任务引导翻译模型充分地学习额外的篇章结构翻译知识。两方面结合起来进一步增强了篇章神经机器翻译模型的性能。实验结果表明,本文提出的方法可以帮助模型在数据资源受限的条件下充分地学习篇章结构知识,进而提升了篇章译文的翻译效果。综上所述,本文针对篇章神经机器翻译中篇章结构知识建模和融合方式的不足,在小句对齐知识建模和融合、篇章主从结构对齐知识建模和融合、多粒度融合与多任务学习等方面提出了一系列的解决方法。同时,本文构建的篇章结构平行语料库深化与丰富了面向机器翻译的篇章结构数据资源。实验结果验证了本文所提出的方法可以有效地提高篇章译文的连贯性,提升模型的篇章翻译质量。
其他文献
风能作为主要的可再生能源之一,在过去数十年间获得了巨大发展。然而,由于风能受随机风速扰动的影响,加之存在风切变、塔影、尾迹及湍流等因素,使其成为电网中不稳定电源的同时,还面临着严重的非对称载荷。因此,变速变桨技术已成为调节风力发电机功率并缓解风机载荷的有效手段。传统变桨控制策略多依赖于被控系统的精确模型信息,这对具有随机扰动、强非线性和耦合等特性的风电机组来说,存在着建模困难以及未建模动态等难题;
学位
交直流混联电力系统的建设提升了我国电力系统大容量、长距离输电以及潮流灵活快速调节的能力,但采用晶闸管换流器(Line-Commutated Converter,LCC)的高压直流输电(High Voltage Direct Current,HVDC)线路使得系统整体的动态特性变得非常复杂。在对交直流混联电力系统开展时域仿真时,HVDC系统内部的开关过程时变特性使得仿真模型的效率和精度难以兼顾。为了
学位
近年来,随着智能交通系统和自动驾驶技术的逐步发展,车联网技术受到了学术界和工业界的广泛关注。车联网安全问题是车联网中最为核心的关键问题之一,而认证技术是解决车联网安全问题的基础工具,研究高效认证方法从而有效保障车辆网络安全将会对车联网快速发展和落地部署起到重要助推作用。目前,车联网在认证方法方面存在诸多挑战。一方面,作为基本出行工具,车辆携带了人们较多重要隐私信息,提供隐私保护能力在车联网中显得十
学位
兰州是我国西北重镇,受区域地质构造和黄河冲洪积扇等的影响,兰州市区沉积了巨厚的砂卵石层,兰州地铁1号线大部分区间隧道采用盾构法掘进,将大范围(约11.8km)穿越粗粒径砂卵石地层,其中还包括2个区间下穿黄河。砂卵石地层在国内城市如北京、成都等地的地铁建设中均曾遇到,特点鲜明的兰州粗粒径砂卵石地层使得其他地区的盾构掘进经验并不十分适用,因此,对该类型的砂卵石地层的变形特性及其盾构工程掘进特性的研究显
学位
地热能作为一种储量巨大并且环保稳定的可再生能源,近年来得到了广泛的发展。目前,浅层地热能制冷或供暖技术已基本成熟,主要利用热泵技术向浅层土壤释放或获取能量,进而实现建筑物的制冷或供暖,推动实现“碳达峰、碳中和”的目标。地埋管换热器是地源热泵系统的关键设备之一。因为换热器周围回填材料的热阻主导着整个传热过程,因此回填材料导热系数是影响地埋管换热性能的关键因素。由于土壤或沙子属于多孔介质,水分迁移不仅
学位
随着移动通信与人工智能技术的发展,计算密集型车载应用对网络和计算性能的需求不断攀升,使得车联网的数据处理压力不断增大。由于长距离通信时延大,单纯依赖云计算已不能完全缓解车联网的压力。靠近用户侧的边缘计算因灵活的资源调度管理可缓解车联网的压力,近年来已成为研究的热点。将边缘计算应用到车联网场景,可以增强车联网网络边缘的通信、计算、存储/缓存功能,实现系统快速响应,从而推动自动驾驶终极目标加速落地。然
学位
数字图像及视频等多媒体是当今社会人们信息获取的重要来源。然而,图像处理技术的发展与深度学习技术的流行,使图像编辑软件不断成熟、伪造图像愈加逼真。这些现象引起了人们对图像原始性及真实性强烈的质疑,也对数字图像取证技术带来了严峻的考验。特别地,在图像篡改过程中,篡改者常使用滤波、增强、压缩等润饰操作,以抹除篡改痕迹或提升图像视觉质量。因此,图像操作取证的研究具有重要意义。本文针对现有的图像操作取证算法
学位
面孔加工在人类发展和社会交往中具有非常重要的作用。由于面孔加工的重要性和特殊性,对其神经机制的探讨有助于探查大脑功能运作的基本机制问题。因此,面孔加工神经机制一直是认知神经科学领域的研究热点。随着磁共振成像技术的发展,这种无创神经成像技术已经广泛地应用于面孔加工神经机制的研究。相对于传统方法,该技术不但能对大脑的组织形态和神经活动进行精确和定量的记录与测量,还可以借助信息科学研究领域中的信号和图像
学位
城市车辆段上盖物业开发进入热潮,随之引发的上盖建筑振动及噪声问题日益凸显。这种新的建筑形式将面临诸多新问题,如振源特性发生变化、传播路径机理不清、振动噪声排放标准缺少依据等,因此造成了振动噪声的预测及减振降噪措施的设计和落实非常困难等一系列问题,其中,上盖建筑的振动传递机理是一个关键性的基础问题。基于此,本文基于一种准解析的波-谱分析方法,聚焦于上盖建筑的振动传递机理,得到了一种快速的振动计算方法
学位
随着科学技术的不断进步,膜结构以其大变形及几何与材料非线性等特点,在现代工业中有着广泛且重要的应用。而由于兼具多场敏感性、动力软弹性及粘弹性等诸多优势,基于软材料的柔性膜结构往往能产生更为复杂的三维甚至多级表面形貌,并实现形貌间的多重转换,因此在生物医学、智能结构、航天军工等领域越来越受到重视。随着柔性膜元件的研发与使用,对元件变形的远程控制,以及模态演化过程调控的研究变得更为紧迫。本论文聚焦于液
学位