神经机器翻译系统网络优化若干方法研究

来源 :苏州大学 | 被引量 : 0次 | 上传用户:zs83315
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
跨语言交流的需求越来越大,如何低成本、高效率的解决不同语言之间的交流障碍便成了一个难题。针对该问题,机器翻译便应运而生。目前,基于神经网络的神经机器翻译系统已经在性能上超过统计机器翻译,但以神经网络为核心的神经机器翻译系统存在多层网络信息利用不充分、参数规模大以及可解释性差等网络建模难题,因此,本课题从网络优化角度出发,针对多层网络信息利用不充的问题,提出信息融合方法;针对参数规模大的问题,提出基于递进式半知识蒸馏的模型压缩方法;针对神经机器翻译中翻译过程可解释性差的问题,提出词对齐质量优化方法。1.多层信息融合优化方法。针对现有机器翻译系统多层网络中存在的层与层之间的信息利用不充分的问题,提出信息融合方法。通过将每层的输出信息进行融合,作为补充信息来弥补原有输出信息的不足,并提出三种不同的融合方法,以此充分利用中间层的信息,改善翻译译文质量。2.基于递进式半知识蒸馏的模型压缩优化方法。针对神经机器翻译中难优化且模型存储资源需求大等问题,本课题提出半知识蒸馏和递进式半知识蒸馏的网络优化方法。通过半知识蒸馏先将机器翻译模型压缩一半,然后通过递进式压缩神经机器翻译的另一半,从而压缩整个模型为精简参数的翻译模型,以此解决神经机器翻译参数规模大的问题。3.神经机器翻译模型词对齐优化方法。针对Transformer难以产生高质量对齐信息的问题,提出利用单语语料以及对齐集中正则项来优化基于Transformer系统的对齐网络,提高对齐网络产生的对齐质量,以此改善神经机器翻译的可解释性。基于多个不同数量级和不同语言对的实验表明,本课题研究的网络优化方法能解决现有的机器翻译中存在的信息利用不充分、模型参数规模大以及Transformer难获取高质量词对齐等问题,综合优化神经机器翻译的整体性能。
其他文献
本文是一篇翻译实践报告,翻译项目的原文选自Food Security and Scarcity(《粮食安全与短缺》)一书。该书2015年由宾夕法尼亚大学出版社与全球发展中心联合出版,作者是美国著名经济学家彼得·蒂默。该书汇集了作者数十年的研究成果,主要从经济学角度分析了粮食安全问题,涵盖经济、政治、农业等多个领域,是学术性很强的社科类专著。该书对我国粮食安全问题具有重要的借鉴意义。本报告基于该书第
中国经济的平稳增长带动了社会基础设施建设的发展,但与此同时,环境和生态的恶化、公共服务供需缺口扩大等问题也在阻碍着社会进步。基础建设投资金额大、建设周期长,城镇化
成像技术的逐渐成熟使得医学图像在辅助诊断中的作用越来越大。在各种类型的医学图像中,磁共振影像以其可构建三维视图、成像清晰的特点被广泛用于疾病诊断中。近年来,阿兹海
物质结构决定其性质,构效关系的研究是通过分析物质结构与性质的关系,得到这两者的一般规律。关于表面活性剂的构效关系研究,虽然已总结出许多经验规律,但由于表面活性剂分子
在香农定理的理论框架下,通过增加信道带宽来提升信道容量是未来通信发展的主要趋势之一。超宽带技术利用频带极宽的信道来传输信息,研究超宽带技术中信道估计等关键问题对未
本研究已经将创新视为满足需求的解决方案的一部分。在这项研究中,专注于两种创新,过程创新和产品创新。产品创新是好的,或者在服务上进行新的改进新也可以满足我们的需求,使
第三方资助(Third-Party Funding)是指与案件争议无法律上利害关系的出资第三者,根据资助协议的约定,支付受资助方全部或部分的程序费用;在受资助方胜诉时,以裁决最终支持的
随着摩尔定律失效、物联网时代的到来,人们不断的在尝试新型半导体器件及其应用。如果要使用新型半导体器件进行芯片设计,器件建模则是绕不开的话题。传统的基于物理的半导体
京津风沙源治理工程是一项具有重大战略意义的生态建设工程,其目的是为了治理沙化土地,改善京津及周边地区的生态环境状况,该工程的实施有利于我国经济社会实现可持续发展。
本文以YH微电子为研究对象,探索在经济新常态背景下,企业业务战略与组织转型的现实问题。随着近年来中国自有品牌手机的崛起,市场对VCM马达需求急剧增加,其巨大的市场需求和