神经机器翻译中的关键问题研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:puhongjin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在信息化时代,理解不同语言的文字是人们获取国际化信息必不可少的途径。在跨语言交际中,专业化的人工翻译由于成本高、耗时长等因素难以普及,快速而又便捷的机器翻译应运而生,成为人们日常生活中难以或缺的一种工具,也为人工翻译提供了重要辅助。机器翻译是自然语言处理研究领域的一个重要分支,主要是依靠计算机从语料库的平行语言对中自动学习,然后利用所学的知识对其他句子进行翻译的过程。随着深度学习和神经网络技术的迅速发展,神经机器翻译成为目前最主流的机器翻译体系。神经机器翻译采用基于注意力机制的端到端模型,相较于传统的统计机器翻译,取得了突破性的成果,逐渐成为商用翻译软件的核心技术。然而,这也在社会上引起了很大的争议,例如机器翻译是否会取代人工翻译。尽管与几年前相比,机器翻译质量有了显著的提升,但是与专业的译者相比依然存在很大差距,科研人员面临的技术难题还很多,想真正取代人工翻译还任重而道远。从提高翻译性能角度入手,本课题对神经机器翻译中的两个关键问题进行了深入研究。第一,传统的基于交叉熵的损失函数在建模时倾向于覆盖所有观测到的数据分布,往往会导致过拟合且引入错误的概率量。根据交叉熵和Kullback-Leibler(KL)散度的数学等价关系,结合正确分布和预测分布间的双向KL散度,我们提出了一种更加完备的目标函数来对训练过程进行优化,从而达到提升翻译得分的目的。第二,神经机器翻译由于解码时计算复杂度高,为控制计算量,词汇表一般被约束在3万到5万之间,但是翻译本身是一个开放词汇的问题,翻译性能很大程度上受到限制。为了解决罕见词的表示问题,我们结合了中文分词中的切分标准和字节对编码技术,提出了一种非监督的子词切分算法。经过充分的实验证明,以上两个问题的优化策略,对于神经机器翻译的性能都有稳定的提升。本文对实验结果也进行了深入的分析与探讨,在一定程度上为以后进一步的相关研究提供了参考。
其他文献
随着人们对环境的日益重视,电动汽车因其零排放的特点逐渐成为了主流的交通工具。同时,无线电能传输技术因其便捷性也成为电动汽车相关研究的热点和发展趋势。然而,在无线充电电动汽车商用化的道路上依旧存在两个关键问题,即金属检测与定位引导。本文分析和总结了有关金属检测的30余项国内外研究成果以及国际上公开的专利,根据检测的方法将其分为基于无线电能传输系统的检测、基于辅助线圈的检测以及其他原理检测三大类。通过
学位
工程机械驾驶室的声学舒适性较差是当前制约国产工程机械市场占有率的重要问题。进行工程机械驾驶室噪声的溯源分析,并针对性地对主要噪声来源进行降噪改进设计,是解决此问题的有效手段。传递路径分析(Transfer Path Analysis,TPA)是实现这一目标的有效方法之一。其中工况传递路径分析(Operational Transfer Path Analysis,OTPA)方法因为具有便于实现的特点
学位
出租车作为城市交通中的重要模式分担,通过其行车轨迹浮动车数据研究市民出行行为对缓解城市交通尾气排放具有现实意义。本文以上海市为案例,结合强生出租车全天GPS数据、地铁刷卡数据以及摩拜单车GPS数据,对市民出行时空规律进行分析。在此基础上,选取社会经济和人口统计、城市形态与土地利用和出行行程相关因素三类自变量,分别对出行高峰与非高峰时段建立Binomial Logit模型,对出行者在地铁与出租车以及
学位
相比于传统微创器械的手动操作,微创腔镜机器人可实现直观操作和增强的灵巧性,同时避免了人工握持器械时的手部颤抖风险。近年来,由于市场广阔,微创腔镜手术机器人的发展得到了重点关注。目前,多数微创腔镜手术机器人系统选择在操作臂的末端安装直杆状手术工具,通过实现操作臂的远心不动点运动以实现腹腔内的手术操作。与此相对应的是连续体手术执行臂,具有不进行远心不动点运动便可实现腔内灵活操作的能力。本文介绍了这种连
学位
大型城市多采用地下变电站解决用电需求剧增和土地资源有限的矛盾,由于噪音限制和散热需求的不同,地下变电站中多采取分体式结构,即将变压器箱体和冷却系统分开布置。而地下变电站变压器分体冷却系统的冷却效能是影响其温度场并决定其绝缘老化速率的重要因素之一。根据分体式变压器温度场及流场的分布情况准确快捷地计算其冷却系统的冷却效能对合理评价变压器冷却系统的冷却性能、判断冷却装置的运行缺陷具有重要意义,是变压器设
学位
截止目前,中高端精细等离子电源市场一直被欧美企业所垄断。国内虽有研究精细等离子电源的文献和厂家,但实现批量化生产的产品还很少。为了改变这一局面,本文针对精细等离子电源产业化过程中的诸多关键技术进行了研究与试验,以便提高产品各方面的可靠性和一致性。本文首先根据精细等离子切割技术的工艺要求,研究了交错并联Buck电路拓扑,对功率回路元器件进行了设计选型,建立了功率回路的电路平均法小信号模型;利用补偿网
学位
本文针对多智能体同步发电机的状态估计及其一致性跟踪问题提出了一种基于滑模控制器的高增益观测器。由于同步发电机被并入到分布式发电机单元时,微电网的稳定性和可靠性会受到很大挑战,因此本文通过利用滑模控制器实现了有限时间下同步发电机状态轨迹的收敛。此外,所提出的控制器还具有误差收敛速度快、抗干扰能力强等优点。另一方面,系统若要具备有效识别多智能体同步发电机非线性响应的复杂性,且通过为高增益观测器选择足够
学位
随着电力电子技术的发展,电力电子系统的运行功率等级越来越高,并且常常应用于复杂的工况下。为确保电力电子系统的安全运行,降低因意外故障带来的经济损失,对电力电子系统的可靠性进行综合评估测试并形成完整的可靠性理论评估体系具有重要的现实意义。其中,对占故障主导地位的功率半导体开关器件、电容器等元器件的深入研究也尤为重要。电力电子工况模拟技术可以更方便、更准确地对电力电子关键部件以及整个系统的可靠性参数进
学位
中文拼音输入法是一种便捷的计算机汉字输入解决方案,它的使用体验依赖于其核心组件:拼音汉字转换模块。近几年,随着相关模型和技术的发展,深度学习已经被广泛应用于各种自然语言处理任务中。然而在输入法相关的研究领域这一块几乎是空白的。本文主要针对相关深度学习技术应用于拼音输入法研究的可行性进行分析,从输入法音字转换模块、词典更新模块、模型预训练技术、辅助输入法构建四个方向对输入法进行改进,期望带来一定的用
学位
依存句法分析是自然语言处理中的核心任务之一,它通过分析词与词之间的依存关系来确定句子的句法结构,产生的结果可以用于强化许多下游任务。基于转移模型和基于图模型的方法是依存句法分析中的两类经典方法:前者以抽象状态机为基础,使用一系列转移动作构建句法树;后者以图论为基础,使用最大生成树算法在整个假设空间中寻找最优的句法树。本文探索了这两类方法各自的变体,简单优先模型和句法头选择模型,并分别提出了有效的神
学位