【摘 要】
:
近年来,随着深度学习技术的迅速发展,基于Seq2Seq的神经网络机器翻译模型(NMT)的性能得到极大的提升,并且在很多语言对上的性能都超过了传统的统计机器翻译模型(SMT)。但不论是基于RNN的Seq2Seq还是基于self-attention的Transformer,它们通常会遇到错误偏置(exposure bias)的问题:在进行解码时容易产生具有良好前缀但不良后缀的不平衡目标。针对这个问题,
论文部分内容阅读
近年来,随着深度学习技术的迅速发展,基于Seq2Seq的神经网络机器翻译模型(NMT)的性能得到极大的提升,并且在很多语言对上的性能都超过了传统的统计机器翻译模型(SMT)。但不论是基于RNN的Seq2Seq还是基于self-attention的Transformer,它们通常会遇到错误偏置(exposure bias)的问题:在进行解码时容易产生具有良好前缀但不良后缀的不平衡目标。针对这个问题,本文对目标端双向解码进行了研究,并提出了基于目标端双向解码一致性的机器翻译模型。课题研究的主要内容包括以下几部分:(1)目标端双向解码的研究。传统的神经机器翻译模型在进行解码时是基于先前生成的token去预测下一个token。这样早期生成过程中的错误会被保存并传递,影响后续的生成结果。因此,本文提出在解码阶段加入反向解码,并将正向解码和反向解码的候选结果利用联合模型进行重排序,进而实现目标端的双向解码。实验结果表明,目标端双向解码有助于机器翻译任务性能的提高。(2)机器翻译双向一致性解码模型的研究。目标端双向解码模型仅通过重排序从2k-best个候选者中找到最优结果,针对候选者并没有解决exposure bias的问题,本文将两个模型之间的一致性信息加入到训练目标中,提出了目标端双向解码一致性模型。即在目标端双向解码模型的基础上,将KL散度引入NMT训练目标,让两个模型联合调优从而实现一致性学习。实验结果表明,exposure bias问题得到了真正的缓解,模型的性能符合预期。(3)双向一致性解码模型的改进。由于双向一致性模型的联合调优异常耗时,本文先通过预训练得到一个较好的模型,该方法使得机器翻译的速度得到明显提高,同时又保证了模型的性能。除此之外,我们还通过大量的实验找到了一个平衡因子去调整KL散度对目标函数的贡献,使得模型的性能得到了进一步的提升。
其他文献
执行力最初出现在企业管理领域,“政府执行力”的概念于2006年被首度提出。自此,我国对于执行力的研究开始由企业管理领域渗透到公共管理领域。近年来,党中央和国务院愈发重视执行力建设,基层政府作为政府体系中最基础的一环,提升其执行力水平至关重要。本文在上海市政府系统运行目标管理的大背景下,基于基层政府执行力至关重要却定义模糊、难以评估的情况下,试图将目标管理理论引入到执行力评价中,尝试开展对目标管理导
科学技术的迅速提高,Kinect的体感技术也越来越成熟,凭借着其自身廉价、功能效果好等特点,被广泛运用到各个领域。如科技馆里面呈现着大量动作捕捉设备结合虚拟现实VR设备供孩子们学习新的知识与娱乐。Kinect捕捉的骨骼数据虽然较为精准,但是存在误差。本文研究的骨骼预测算法以及丢失关节修复算法,将Kinect获得的骨骼数据进行优化。降低了数据误差,并加入平滑处理技术防止骨骼边缘出现抖动,最后通过动作
近年来,利用无线信道的随机时变性在物理层上实现信息安全可靠传输的物理层安全技术成为学术研究的热点问题。由于具有时间压缩和空间聚焦的特性,时间反转技术可将信号能量集中在期望的时域和空域目标上,增强期望接收端的接收信号质量,同时抑制非期望接收端的信号质量,具有天然的抗拦截能力。本文对时间反转传输系统的物理层安全性能进行分析,主要内容有:1.对时间反转传输系统合法用户和窃听者接收信噪比的概率分布进行分析
随着室内无线局域网(Wireless Local Area Networks,WLAN)的广泛部署和智能终端对IEEE802.11协议的普遍支持,面向未携带任何信号收发设备的未知目标的入侵检测服务需求呈现大幅增长趋势。基于WLAN的未知目标入侵检测技术利用WLAN信号波动特性与入侵目标位置的相关性实现对入侵目标的检测与区域定位,可广泛应用于智能家居、安防监控、反恐维稳和灾害救援等诸多领域。目前系统
教学是教育管理的重要组成部分,教育管理各项工作的开展必须以教师的“教”和学生的“学”作为基石。本论文选用“绘画分析”方法作为研究工具,根据绘画分析的特性把“美术课”作为切入点,从具体教学内容出发旨在为教学管理提出可借鉴与参考的依据。本研究是一次理论与实践相结合、心理学与教育学相结合、心理治疗方法与具体学科相结合的一次实证性研究,通过对具体操作方法在教学过程中的作用机制及其规律的研究得出结论,从而为
阅读能力对现代人适应现代社会,对当代公民形成公民素养,对个人的终身学习,对社会主义现代化建设,都是一项极具价值的能力。高考作为一项选拔性考试,在语文学科的高考试卷中,阅读能力一直以来都是主要的考核内容。自新高考实施以来,高考语文试卷发生了不少新的变化。主动阅读是应对高中语文阅读教学和新高考考查变化的重要策略。高中语文主动阅读教学的理论研究和实践探索具有重要的研究价值和现实意义。本论文研究的是新高考
良好的班级文化建设,有利于学生的身心发展和综合素质的培养。对于职业学校来说,建设具有职业特色的班级文化,将增加学生的归属感和责任感,有助于营造团结向上和勤学好问的班风班貌,帮助学生塑造职业道德和职业素养,培养学生的拼搏进取精神和工匠精神。中等职业学校普遍存在班级学风差、学生缺乏职业素养工匠精神、就业率低等问题,在国家重视职业教育的大环境下,培养出具有综合素养的技能型人才尤为重要,对中等职业学校班级
近几十年来,“玉器热”在中国传播和发展,玉器市场蓬勃发展。伴随着玉器市场的发展,仿古玉制造产业也孕育而生,这不可避免地给古玉爱好者、收藏家带来了困扰和经济损失。在这种情况下,古玉器的鉴定和辨伪方法也日益更新,不管是宏观鉴定还是微观鉴定都更有理有据,二者辩证统一,更加科学有效。现今仿古玉制作工艺水准也随着相关鉴定专家的鉴藏水准的提高而不断提高。仿古玉市场对古玉市场也产生了很大的影响。安徽蚌埠仿古玉雕
粗糙集理论是波兰数学家Pawlak教授在1982年提出来的,它是一种处理不完备、不确定、不精确数据的数学工具,被广泛应用于数据挖掘、机器学习、决策支持与分析、图像处理、专家系统、近似推理等诸多领域。近年来,广大学者对Pawlak粗糙集模型进行了大量推广,其中基于区间值信息系统的知识发现成为粗糙集理论及其应用研究的重要方向之一。由于Pawlak粗糙集模型中的等价关系的要求过于严格,处理区间值型数据存
随着人工智能的飞速发展,人们对于神经网络的研究日渐深入。而脉冲神经网络作为第三代的神经网络,更是被科研人员广泛关注。如何构建与人脑神经网络类似的智能网络成为当前研究的热点问题,而神经元和突触正是神经网络中最重要的研究部分。本文以神经元模型和突触为出发点,设计一种温度依赖型神经元模型,并研究其在神经网络中建立突触、更新突触、修剪突触以及最终形成神经环路的完整过程。首先,结合生物实验结果和资料,本文在