多模态神经机器翻译任务旨在理解输入端的语义,以端到端方式融合图像和文本两种模态信息,以此实现源语言到目标语言的翻译。传统多模态机器翻译,在将源语言翻译成目标语言时,借助图像中的重要特征信息优化翻译过程。通过观察发现,虽然图像中包含丰富信息,但是当图像特征与源语言描述不匹配时,对翻译会带来干扰和噪音。且之前多模态机器翻译系统的翻译结果尽管有着较好的可读性,但在表达力上,有着明显的欠缺,主要的不足为:翻译结果中会出现过翻译或欠翻译的情况,一些歧义词翻译效果欠佳;翻译结果的充分性不足,例如,源语言中一些主题信息、实体信息和场景信息无法正确翻译;翻译结果的流畅性不足,例如,源语言中一些连词、方位词、衔接词没有很好地翻译。针对上述问题,本文提出基于跨模态交互和分层预训练的方法,充分利用图像中有效信息辅助翻译,以减少翻译结果中过翻译或欠翻译的情况。实现系统翻译较复杂的主题或场景描述时,其翻译结果在充分性和流畅性方面仍表现较好,具体研究内容包括以下三个方面:（1）融合覆盖机制的多模态机器翻译研究现有多模态机器翻译,在将源语言翻译成目标语言时,借助图像中的重要特征信息优化翻译过程。通过观察发现,图像里的信息不一定出现在文本中,对翻译也会带来干扰;与参考译文对比,翻译结果中出现了过翻译或欠翻译的情况。针对以上问题,本文提出一种融合覆盖机制双注意力解码方法,用于优化现有多模态神经机器翻译模型。该模型借助覆盖机制分别作用于源语言和源图像,在注意力计算过程中,可以减少对之前时刻重复信息的关注。本文在Multi30k数据集上进行实验,验证了上述方法的有效性,在Multi30k-16英德和英法以及Multi30k-17英德和英法测试集上,对比基准系统BLEU-4值分别提升了1.2,0.8,0.7和0.6个百分点。（2）基于上下文门控的多模态机器翻译研究上一研究中,虽然减少了对重复信息的关注,但是其利用的图像特征为全局特征,和源语言描述不相关的图像特征会带来噪声,且没有充分利用不同上下文间细粒度的语义相关性。针对以上问题,本文提出一种基于门控机制多模态信息融合的翻译方法,用于优化现有多模态翻译模型。该模型通过源上下文门控调整图像特征和每个源语言词的重要度,过滤掉图像中不相关的特征;通过目标上下文门控动态调整源端上下文和目标端上下文对翻译结果的贡献度,从而有效提高翻译结果的忠实度和流畅度。本文在Multi30k-16英德和英法以及Multi30k-17英德和英法数据集上进行实验,对比基准系统BLEU-4值分别提升了1.3,1.0,1.5和1.4个百分点。（3）基于分层预训练的多模态机器翻译研究上述研究工作翻译结果的忠实度或流畅度有了一定的提升。虽然取得了初步的效果,即在最终的目标语言中一些常见的主题信息,实体或场景信息可以正确翻译,但遇到一些较复杂主题或场景时,翻译结果离目标答案差距较大。因此,本文提出一种融合预训练知识跨模态交互方法,通过多模态预训练的方法引入预训练知识,且通过跨模态交互方法动态调整预训练知识在编码端和解码端的贡献度,生成包含多类别主题或场景信息的目标语言。本文在Multi30k-16英德和英法以及Multi30k-17英德和英法数据集上进行实验,对比基准系统BLEU-4值分别提升了1.5,1.7,1.2 和 1.4 个百分点。本文通过以上方法,从多模态信息有效融合和预训练方法学习的角度,一定程度上优化了目前多模态机器翻译中充分性或流畅性表达欠佳的问题。最后,本文方法在Multi30k-16英德和英法以及Multi30k-17英德和英法数据集上BLEU-4值分别达到40.7%,33.6%,62.5%和54.3%。