图像描述的主要任务是根据给定的图像生成描述该图像内容的自然语言文本,该任务是计算机视觉和自然语言处理的跨学科融合任务。图像描述在智能人机交互,图文转换,视觉辅助和图像识别等领域具有广阔的应用前景,可以给人类生活提供极大的方便。图像描述的目的是自动生成自然语言描述,并且目前大多数最先进的模型都采用了编码器-解码器框架。该框架包括一个基于卷积神经网络的图像编码器和一个基于循环神经网络的描述解码器。图像编码器用于在输入图像中提取基于区域的视觉特征,而描述解码器的作用是基于视觉特征和注意力机制输出描述文本。尽管现有的研究取得了成功,但当前的方法仅对表征间相互作用的协同注意力进行建模,而忽略的表征内相互作用的自注意力。受变换网络模型在机器翻译中成功的启发,这里本文将其扩展到用于图像描述的多模态变换网络(Multimodal Transformer,MT)模型。与现有的图像描述方法相比,MT模型可以在统一的注意力块中同时捕获模态内和模态间的交互作用。本文的主要研究工作和贡献如下:1.在编码阶段,MT模型首先提出了用于图像描述的自注意力。多模态变换网络模型能够使用这些模块化的注意力模块对表征内相互关系进行建模,即视觉目标对视觉目标。通过深度的堆叠这些注意力模块,对图像中的视觉目标之间的关系进行深度推理。2.在解码阶段,MT模型设计了用于图像描述的自注意力以及协同注意力模块,通过这些模块对表征间与表征间的两种关系进行建模,即单词对单词以及视觉目标对单词。从而生成更准确,更全面的文本描述。3.结合MT模型引入图像的多视图视觉特征学习,以提供更加多样化和具有区别性的视觉特征表示。本文介绍了两种不同的策略来分别处理对齐和非对齐的多视图视觉特征。通过在图像描述领域公开的大规模数据集(如Flickr30k,Microsoft COCO)上的实验,验证了本文提出的方法相比当前最好的算法更为有效。