论文部分内容阅读
随着深度学习在自然语言处理研究中取得突破性进展,机器翻译技术也发生了革命性的变化,被广泛应用于人们的生活和工作中。我国作为一个统一的多民族国家,党和政府高度重视少数民族自然语言处理。近年来,我国少数民族自然语言处理相关技术蓬勃发展,尤其是藏语自然语言处理,更是随着科学技术的发展不断地在进步。不论基于统计还是基于神经网络的机器翻译方法,都需要具备大规模的双语或多语语言数据资源作为支撑,对于藏语相关的藏语自然语言处理研究而言,依然存在着数据资源稀缺、理论基础薄弱和技术方法不够成熟等问题,本文希望通过藏汉语言数据资源构建、单语语言模型融合、迭代式回译策略的应用以及跨语言模型预训练等理论和方法的研究,为贫语言资源条件下的藏汉机器翻译提供一个有效的研究思路,同时缓解目前藏汉机器翻译中资源稀缺、翻译性能不理想等问题,为藏区经济社会发展提供语言互译的技术支撑。本文的主要工作和创新点总结如下:针对藏汉语言数据资源匮乏问题,本文提出了一种面向藏汉机器翻译的语言资源构建技术,并构建了一个基于人民日报(藏文版)的藏、汉单语语料库和藏汉双语平行语料库。本文首先使用基于Web的大规模资源获取技术收集藏语单语新闻语料,并通过CNN+Bi-LSTM+CRF的藏文分词技术和Bi-LSTM+CRF的命名实体识别技术识别藏语新闻中的时间、地点、人物、组织机构等命名实体,并将其进行粗翻译,得到对应的汉语命名实体,然后通过汉语命名实体匹配到相对应的汉语新闻并将其进行预处理,通过篇章特征集合的相似度计算和基于Bi-LSTM+Attention模型的跨语言句子相似度计算,对藏汉两种语言的新闻文本进行篇章对齐和句子对齐,最终构建一个具有53.834万句藏语单语、61.759万句汉语单语和53.762万句对的藏汉双语平行语料库。针对藏汉机器翻译中双语平行语言资源缺乏,而藏汉两种语言的单语数据较为丰富的问题,为有效利用资源丰富的藏语单语数据以提高藏汉神经网络机器翻译的性能,本文提出了一种融合单语语言模型的藏汉机器翻译方法。本文首先通过循环神经网络语言模型建模的方法构建藏语单语语言模型,并将其与翻译模型的解码端预输出进行融合处理,利用浅层融合和深层融合的方式,将翻译模型生成的词和语言模型生成的词重新进行加权排序,使源语言与目标语言产生映射关系,最终输出目标语言。通过这种融合单语语言模型的藏汉机器翻译建模方法,可有效提升贫语言资源条件下的藏汉机器翻译的性能,经实验,这种方法在相同资源条件下,比原有的Transformer基线系统提升了3.4(藏-汉)和4.7(汉-藏)个BLEU值。针对贫资源条件下藏汉机器翻译性能不佳的问题,提出了一种迭代式回译策略的藏汉机器翻译方法。本文首先通过资源构建技术和实验室原有数据资源构建一个Transformer初始系统,对较大规模的单语语料(正向)进行翻译,得到源端是正确的句子,目标端是翻译生成的句子,然后通过平行句对过滤机制构建具有较强监督信息的伪藏汉双语平行语料,将其加入到翻译模型的训练中,然后进行回译(反向),通过相同的方式得到目标端是正确的句子,而源端是翻译生成的句子,经多次迭代实验,在初始系统原有的性能指标上,提升了6.7(藏-汉)和9.8(汉-藏)个BLEU值。针对藏汉平行数据资源规模和领域受限,对监督式神经网络机器翻译模型的适应性较差的问题,提出了一种跨语言模型建模的藏汉机器翻译方法。本文首先构建了一个以Transformer为基线系统的藏汉机器翻译系统,通过对藏、汉掩码语言模型的预训练和藏汉跨语言翻译模型的建模,建立了富资源(汉)和贫资源(藏)之间的映射关系,然后将带有详细的语言信息和位置信息标签的藏汉双语句子以文本流的形式作为输入,通过这种预训练方式优化基线模型的性能,经实验表明,BLEU值分别提升了8.1(Transformer Base+MLM和Transformer Base)和5.7(Transformer Base+MLM和SMT)。本文一方面通过对藏汉语言资源构建和相关技术的研究,构建面向藏汉机器翻译的语言资源库,另一方面通过研究贫语言资源条件下的藏汉机器翻译理论和方法研究,优化和改进藏汉机器翻译的性能,取得了一些成果,为今后藏汉机器翻译研究提供了一个可借鉴的思路和方法。