随着经济全球化的日益加深，机器翻译（Machine Translation,简称MT）在许多国际舞台上扮演着不可或缺的角色，成为突破不同语言交流障碍的重要手段。在大规模语料库和计算能力有限的条件下，基于神经网络的机器翻译方法能够通过编码器-解码器架构完成源语言序列到目标语言序列的直接映射，从而获得比统计机器翻译更好的效果。然而，由于自然语言本身的复杂性和多样性，单个神经机器翻译模型的表达能力往往存在一定局限性且容易陷入局部最优。机器翻译任务中所处理的序列数据之间具有相关性，直接对不同模型的输出结果进行集成学习的效果并不理想。与此同时，多模态信息融合逐渐成为交叉学科的一个重要研究趋势，而不同模态信息之间融合的难点在于模态鸿沟导致语义表示不准确。
　　本文基于Transformer模型在Multi30K数据集上进行多模态机器翻译任务的研究，主要研究工作如下：
　　（1）在单模态神经机器翻译任务中，本文研究了一种基于加权条件概率的结果融合方法。该方法在解码过程中通过平均多个模型的概率分布从而预测出下一个目标端词语，从而获得表达能力更强的集成模型。实验结果表明，利用这种结果融合方法得到的最高BLEU分值是33.95，这相比基线模型有17.76%的性能提升。
　　（2）针对不同模态数据之间的语义鸿沟问题，本文提出一种基于协同学习的多模态神经机器翻译模型（CRMMT）。该模型分别将文本特征和VGG16卷积神经网络提取到的图像特征进行线性变换后相加，从而得到在同一语义空间下的多模态特征表示。实验结果表明，通过与几种典型的Gate模型对比，本文的模型具有一定优势且相比基线模型性能提升了8.95%。
　　（3）为了获得图像更深层次的语义表达，本文提出了一种高维多通道的图片特征表示方法（CRMMT+）。其核心思想是分别从图片的不同色彩通道提取相应的特征表示并运用到CRMMT模型中。实验结果表明，基于这种高维多通道的图片特征表示方法能够进一步提升多模态机器翻译模型的效果。