基于调度采样的神经网络机器翻译研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:fdazhyy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器翻译是利用计算语言学技术,将源语言自动翻译成目标语言的一项技术。鉴于机器翻译的深远研究意义和广阔应用前景,产业界和学术界都将其视为重点的研究方向,成为当前自然语言处理最具有挑战性的研究领域之一。伴随着近几年神经网络技术的大力发展和数据资源的进一步丰富,基于神经网络的机器翻译系统(Neural Machine Translation,NMT)已经逐渐成为机翻翻译领域的主流方法。然而目前的神经网络机器翻译模型,会面临着训练和测试不一致的问题,也就是暴露偏差问题。在现有研究中,研究人员提出多种解决暴露偏差问题的方案,其中最典型方法的便是调度采样算法。调度采样算法的核心思想是在模型训练阶段,通过随机将模型自己的译文和标准译文进行混合后再作为模型的输入。尽管调度采样已被广泛地应用并且在现有工作中被不断优化完善,但是调度采样的核心调度算法仍然存在两个关键的问题。首先现有调度采样算法的调度策略,仅仅依赖于模型的训练步骤,其仿真出的翻译错误分布是与解码步骤无关的。然而在实际的测试场景下,由于错误累计现象的影响,模型的翻译错误率往往会随着解码步骤而逐渐增大,这与现有调度采样算法的仿真出错误分布是不一致的。其次,模型仅依据预定义的模式,即关于训练步骤的衰减函数来反应模型的能力,是不够精确有效的。针对现有调度采样算法中的这两个局限性,本研究创新地提出基于解码步骤的调度采样算法和基于模型置信度的调度采样算法,本文的主要创新点和贡献点如下:(1)本文首次提出一种基于解码步骤的调度采样算法,该算法可以根据解码步骤逐渐增大采样模型自己预测译文的概率,仿真出一个与实际测试场景下更加一致的翻译错误分布,进一步地减小了模型的训练与测试不一致程度,从而进一步提升了模型的译文质量。更进一步地,本文还探究了如何将本方法与现有方法进行结合,即基于训练步骤和解码步骤的调度采样算法,并提出了三种简单有效的结合方案,即概率相乘,算数平均和复合函数。本研究在三项大规模WMT翻译测评任务以及两项生成式文本摘要上验证所提出方法的正确性和有效性,实验结果表明本研究所提出的方法可以显著地提升现有调度采样算法的效果,同时在两项生成式文本摘要任务的四项评价指标上达到当前最佳性能。(2)本文首次提出基于模型置信度的调度采样算法,该算法根据模型的实时能力,即模型置信度,来执行细粒度的调度采样策略。即置信度高的位置使用模型的预测当做输入,置信度低的位置使用标准译文作为输入。我们还进一步探究了如何在高置信度位置引入噪声输入,从而缓解调度采样算法退化为普通的训练模式。本研究在三项大规模WMT翻译测评任务以及两项生成式文本摘要上验证所提出方法的正确性和有效性,实验结果表明本研究所提出的方法可以显著地提升现有调度采样算法的效果。
其他文献
学位
2015年起,全无机钙钛Cs Pb X3(X=Cl,Br,I)优异的光电特性,引起国内外极大关注。与有机-无机杂化钙钛矿材料相比,全无机铅卤基钙钛矿具有较好的热稳定性,并且室温下该材料具有高的激子结合能,自由激子容易与杂质结合形成复合中心,室温下可产生激子发光。研究发现,若钙钛矿薄膜拥有更平滑的表面形貌和大尺寸的晶粒,可有效减少晶界散射,进一步提高载流子迁移率,抑制离子迁移。由于钙钛矿薄膜本身导电
学位
随着传统作战方式和战术打法的改变,在主力部队之前负责勘测前方地形信息和侦察敌军信息的战地路面勘测车越来越重要。由于战地路面勘测车等军用车辆的使用环境特殊,需要对其挡位决策关键技术做针对性的优化研究:以提高车辆动力性和安全性为目的,确定典型路面表征参数,对比分析不同换挡策略,最终得到特殊路面状况下满足战地路面勘测车动力性要求的换挡策略。研究结论可为战地路面勘测车实车开发提供一定理论指导。论文围绕某型
随着对跨海交通需求的日益增长,作为主要跨海交通方式之一的海底隧道已得到广泛应用。为保证施工安全,海底隧道往往深埋于海床下方,隧道突涌水及高水压力是海底隧道面临的主要问题。制定合理可靠的结构防排水系统,确定衬砌外水压力及结构内力是海底隧道建设的关键,本文基于现有研究成果,依托青岛地铁8号线海底隧道工程,采用理论分析、数值计算和现场试验结合的方法,研究海底隧道复合式衬砌水压力分布规律及结构受力特征。主
车载中心化列控系统作为以系统简约化、列车智能化为技术导向的新型方案,在近年来随着我国对西部铁路网建设工作的推进而日益受到关注,其应用于实际工程中的需求也愈加迫切。在近年来相关领域的研究中,该方案分散进路控制模式下存在的线路资源冲突问题因其对运营效率的制约而成为应用研究的关键。新型列控方案提出由列车通过车载联锁实现自身进路的办理。这种关于有限资源的分散式征用架构,正与博弈理论认为各参与者具备自主决策
燃料电池汽车因其无污染零排放,得到了快速发展,然而,限制燃料电池汽车商业化的一个主要因素是燃料电池耐久性问题,兼顾整车动力性,经济性及电池使用寿命是氢燃料电池汽车科研领域的难题。本文以增程式燃料电池轿车为研究对象,针对燃料电池性能衰减问题,研究燃料电池衰退机理以及燃料电池健康状态(SOH:State Of Health)估计方法,并基于对SOH的识别,提出了基于燃料电池健康状态的整车能量控制策略,
学位
转辙机是铁路系统中最重要的机电设备之一,存在动作频繁和工作条件复杂的特点,若出现故障会对铁路运营造成严重影响。但目前采用的维修方式多为基于经验知识的方法,基于专家或工作人员的经验判断故障类型,再进行维修,具有依赖人工以及效率低下的问题。为解决上述问题,并实现对故障的预测,以降低维修成本,保障铁路安全高效运营,本论文对转辙机的故障诊断和故障预测进行了研究。(1)转辙机工作原理的分析及数据预处理。研究
钩缓装置作为铁路货车的重要组成部分,其检修设置的科学性影响车辆运行安全和运行成本。随着高速重载战略的不断推进和货车运用量的增加,给货车钩缓装置的维修管理带来了巨大挑战。既有的定期全列检修策略缺乏充分的科学依据且难以满足精细化管理要求,亟需制定新的维修策略。但由于钩缓装置部件多,结构复杂,前期失效规律研究积累有限,难以得到维修策略优化模型的解析解,且模型的实际应用能力受限。为此,本文利用蒙特卡洛仿真