近几年来,图像描述逐渐成为人工智能领域内一个新的研究热点。图像描述任务是连接计算机视觉领域与自然语言处理领域的一项基础任务,其目标是使计算机能够自动生成能够准确描述输入图像内容的自然语言语句。图像描述任务需要利用计算机视觉中的相关技术以及自然语言处理中的相关技术。图像描述任务将图像内容转换为描述图像内容的自然语言文本,可以加深对图像内容的理解。虽然编码器-解码器结构在图像描述任务中取得了广泛的应用,但是现有的方法还是存在问题,主要表现为以下几个方面:1)对于图像中的空间区域信息的利用不够充分,导致生成的描述语句中缺少对一些目标的描述;2)解码器通常采用单层循环神经网络或者单层长短时记忆网络,语言建模能力有待提高;3)基于循环神经网络的解码器依赖时间序列的顺序,导致其训练过程并行度不高,无法充分利用高性能图形处理单元的并行计算能力。针对目前图像描述任务中存在的问题,本文提出了新的图像描述模型,主要的研究内容如下:1.为了图像描述模型能够更加充分地利用图像空间区域特征,本文采用了基于特征金字塔网络的Faster R-CNN目标检测算法,提取图像多尺度区域特征。2.为了在生成描述语句时更加充分地利用图像区域特征,本文设计了多注意力机制,在解码输入与输出阶段均使用了注意力机制,能够更加充分地利用图像区域特征,提高模型性能。3.结合多尺度区域特征与多注意力机制,提出基于多尺度图像区域特征与多注意力机制的图像描述模型4.为了提高模型训练过程的并行度,提高解码器语言建模能力,提出一种基于多模态Transformer的图像描述模型。通过堆叠注意力层,本文模型能够构建深层解码网络,提高语言建模能力,并且该模型不依赖时间序列顺序,因此能够更加有效地进行并行训练,提高模型训练时并行度。最后,通过和其他图像描述模型比较,本文所提出的模型的性能以及生成描述的质量得到了验证。