基于视觉信息的多模态机器翻译是指在文本机器翻译的基础上,以图像或视频的信息作为辅助帮助模型理解上下文从而提高机器翻译系统性能。通常的方法是在编码端将两种不同模态的信息融合。本文针对基于视觉信息的多模态机器翻译的两个子任务文本-图像机器翻译和文本-视频机器翻译进行研究,分析了该领域存在的问题:一是缺乏统一的多模态机器翻译框架能通用地适用于两个子任务;二是在图像信息中存在着与文本无关的内容,冗余的图像信息会对翻译系统造成影响,在模型内部对图像中的噪声信息进行过滤选择真正与上下文有关的部分是一个非常值得研究的问题;三是在文本-视频机器翻译任务中,视频特征和文本特征都具有时序性,而现有的模型忽略了这一特点。针对上述问题,本文进行了以下三点研究:1.提出了通用的多模态机器翻译框架。目前在基于视觉信息的多模态机器翻译缺乏一种翻译框架可以同时处理两个子任务,本文提出的通用的多模态机器翻译模型以感知文本的视觉表示为基础,引入了多模态门控网络对视觉信息进行选择融合,可以通用地处理两个多模态机器翻译的子任务。其中文本-图像机器翻译任务在三个测试集上的BLEU指标和METEOR指标均达到了最优或接近最优的结果,文本-视频机器翻译任务在VATEX数据集上与VATEX提供的基线模型相比,BLEU值提高了4个点。本文中的其他方法均以本文提出的通用的多模态机器翻译框架作为基线模型。2.提出了选择性注意力机制。选择性注意力在模型训练过程中动态地选择图像特征中与当前词语义关联密切的区域,并通过Gumbel重参数的方法实现了选择过程可微分,进而模型能通过反向传播进行参数更新。作为对图像去噪的一种补充,本文同时引入了文本图像语义相似度损失函数进一步对两个模态的表示信息加以约束。实验结果和实例对比都表明了选择性注意力在文本-图像多模态翻译任务上有效的去除了图像特征中的噪声并提高了翻译效果。3.提出了多模态注意力中的相对距离。在基线模型中的多模态注意力中,为多模态特征对分配多模态距离向量,并将多模态距离向量融合到注意力得分矩阵计算和最终加权和输出中。实验结果表明基于相对距离的方法可以显著提高翻译结果,本文的方法在VATEX公开测评榜上取得了第四名的成绩。