神经网络机器翻译模型性能提升方法研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:wxgaihxx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器翻译旨在实现不同语言之间的自动化翻译,降低不同语言使用群体之间的沟通代价,促进全球各个国家和地区之间的经济、政治和文化交流,具有巨大的研究意义和实际使用价值。从提出至今,机器翻译问题一直是自然语言处理领域中最受关注的研究热点。  纵观机器翻译模型的发展历程,根据模型构建的方法进行分类,大致可以将其划分成三个阶段:规则机器翻译模型阶段、统计机器翻译模型阶段、神经网络机器翻译模型阶段。规则机器翻译模型是20世纪80年代的主流模型。规则机器翻译模型的搭建方式是语言学家对翻译知识进行总结和形式化,编写大量的人工规则,实现一种语言结构到另一种语言结构的映射。规则式机器翻译模型中的翻译知识表达明确,但是系统搭建繁琐,代价较高。1993年,统计机器翻译模型被提出,由于其语言无关且方便搭建的特性,一度成为主流的机器翻译模型。统计机器翻译模型的搭建只需要双语平行语料,一定程度上摆脱了对开发者语言学背景的依赖,但系统的流程化训练过程中存在优化目标不一致和错误传播等问题。2014年以后,神经网络机器翻译模型被提出,该模型采用一个神经网络对平行语料中的翻译知识进行拟合,将所有的参数统一到一个目标函数下进行优化。目前,神经网络机器翻译模型在多个语言对上的翻译效果已经大大的超过了传统的统计机器翻译模型。然而受限于当前模型对训练数据的拟合能力,译文中往往存在错翻、漏翻等等错误,依然难以满足用户对高质量译文的需求。针对神经网络机器翻译模型的优化和提升研究,成为当前研究领域中的热点问题。本文致力于对神经网络机器翻译模型的性能进行优化提升,提高译文质量。本文的主要研究成果包括如下三个方面:  1.提出了融入词语调序模型的神经网络机器翻译模型  由于不同的语言之间存在结构性差异,具有相同的语义的词汇集合在构成句子时,会产生语序不一致的情况。这种语序不一致性表现在机器翻译问题上,就是在生成译文的时候,很大的概率不是对源端词汇从左到右逐词翻译的,在注意力机制中融入了一个词语调序模型,使得在当前时间步定位待翻译的源端词的时候,考虑到与上一时间步翻译的源端词的相对距离。融入词语调序模型的神经网络机器翻译模型的性能超过了基本的神经网络机器翻译模型,调序模块可以有效的捕获语料中的调序知识。  2.提出了多编码器多解码器结构的神经网络模型  对神经网络机器翻译模型单编码器单解码器的模型结构进行了改进,成为具有多个编码器多个解码器的模型。多编码器结构允许使用多个具有不同深度或类型的编码器对源端句子进行分布式表示,使得对源端句子的表示更加丰富有效。多解码器机制允许多个解码器同时对目标端句子进行解码,使得解码器的目标端句子生成能力更强。多编码器多解码器结构能够有效的提升翻译模型的能力,与加深或是加宽网络的方式相比,该结构参数量线性增长,性能持续提升。  3.提出了高性能的维汉神经网络机器翻译系统  维汉翻译问题面临着数据规模小、维语形态变化丰富等难题。针对维汉机器翻译任务,分别进行了基于字、词、BPE等翻译单元粒度的实验,探索了两种语言翻译单元的最优粒度。与新疆大学合作构建了当前最大规模的维汉平行语料,在该语料上,利用多编码器多解码器结构,搭建了一个高性能的维汉神经网络机器翻译系统。该系统的译文质量大大的超过了基于短语的统计机器翻译系统和基本的神经网络机器翻译系统。
其他文献
网络恐怖信息过滤的研究不仅能够促进网络内容安全和人类情感认知等相关领域研究的发展,而且对构建和谐网络环境,维护社会稳定具有重要的社会意义。本文针对恐怖视频展开研究
随着终端数量和流量需求的提高,无线局域网(WLAN,Wireless Local Aera Network)中单位空间设备和流量密度越来越高,高密场景吞吐量瓶颈越来越突出。IEEE802.11协议中的增强分布
访存性能是影响高性能计算机性能的重要因素之一,提高访存性能对提高应用性能具有重要作用。超并行(Hyper Parallel Processing,HPP)体系结构是国家智能计算机研究开发中心提出
框架排歧研究是SemEval-2007中第19项语义分析评测"Frame Semantic Structure Extraction"中的一个子任务。该研究基于FrameNet语义知识库,针对句子中给定的歧义目标词(能够
目标跟踪是通过对摄像机所拍摄的视频图像序列进行处理,找出连续图像帧间的对应关系,实现对图像和图像序列中的运动目标进行跟踪,给出其运动轨迹。目标跟踪在目标运动的视觉
航空航天可靠性的评估是航空航天领域的热点和难点。由于航空航天器可靠性关系到航空航天产品的造价、寿命以及其在空间的运行情况等多个方面,因此航空航天可靠性技术的发展
确定性启发式路径规划算法能够利用启发函数高效地进行目标搜索,在导航、制图、地理信息系统以及机器人学等方面得到广泛应用,是人工智能领域的研究热点之一。本文在分析传统确
本文研究基于突发信息(Burst)的高效率事件挖掘技术,并在中国网络信息博物馆(Web Infomall)[2]的历史网页数据上实现了一个事件挖掘系统。本文的主要内容包括三个部分:  
随着互联网络的不断发展壮大,出现了很多基于P2P网络应用,如bitcomet,emule,share,maze,迅雷等P2P应用软件层出不穷,为互联网用户带来了极大的便利。   本课题的研究工作源自国家
论文和在线课程网页都是科研人员重要的学习和参考资料,目前有很多论文的管理平台或者在线课程的管理平台,但是还没有一个平台能够将这两类资源有机地整合在一起。本文基于以论