论文部分内容阅读
基于深度学习的神经机器翻译技术显著提高了机器翻译的质量,但是仍然存在很多问题。其一,模型训练存在着数据稀疏问题,实际任务中通常难以获得充足的平行语料库进行模型训练,这使得模型在面对低资源领域的翻译任务中,翻译效果难以达到预期;其二,多层级联的网络结构将表示信息传递到末层,但在一定程度上会损失中间层捕获到的有效信息,而且,利用最大似然估计原理的训练方法所构建的损失函数是以词为单元的,在句子或者篇章级别翻译任务中,效果较差,而且会存在训练阶段与测试阶段的不一致性问题;其三,在机器译文的评测方面,传统方法多采用BLEU、NIST等评测指标,这些指标仅衡量了译文评测的单方面信息,考虑不够全面。本文针对上述问题,进行了相关的研究,主要工作如下:第一,针对双语平行语料获取困难的难题,对语料的扩充技术进行了研究,提出了基于EM算法的语料生成联合学习方法,将EM算法应用于神经机器翻译模型Transformer的训练中,语料生成任务作为主任务,Transformer的训练作为辅助任务,利用机器译文对平行语料库进行扩充。通过实验,验证了这种方法的有效性。第二,针对多层级联的深度模型所造成的中间层信息损失以及基于最大似然估计的训练方法存在的不足,本文提出了层聚合的神经机器翻译模型与对抗性训练算法,利用联合学习的方法,一方面以Transformer模型作为基线模型,通过增加合并层对Transformer进行改进,以加强中间隐藏层之间的关联;另一方面,将新模型的训练作为主任务,将句子分类任务作为辅助任务,主辅任务模型采用对抗性训练和强化学习的思想进行联合训练。通过实验,验证了这种方法的有效性。第三,针对机器翻译单一指标的评测方法存在的不足,对机器译文评测方法进行了研究,利用机器学习的方法对机器译文评测参考体系的不同方面进行了综合考虑,利用模型驱动的思想和联合学习的方法,提出了两种改进的方法。其一,利用改进的Transformer结合SVM进行译文评测模型的构建;其二,采用BERT结合BiGRU以及全连接网络进行译文评测模型的构建。通过实验,验证了这种方法的有效性。本文以中英机器翻译为背景,采用联合学习的思想,通过主辅任务模型的联合训练,扩充了双语平行语料、优化了 Transformer模型和训练算法、改善了机器译文评测体系。联合学习作为本文工作的核心思想,在未来的研究中,希望将这一思想应用于其他自然语言处理任务中。