随着深度学习的快速发展,互联网行业愈加贴近人工智能的研究初心。其中,计算机视觉和自然语言处理这两大研究方向,帮助机器模拟人类的视觉和语义理解,使得深度学习在人工智能上应用卓越。图像描述作为这两大研究方向的融合任务,也受到人们的广泛关注。该任务主要是向机器输入一张图像,然后使得机器能够识别理解图像中的物体、物体属性及其关系,并生成一段语义和语法正确的自然语言描述性文字。近年来,基于深度学习的以“编码器-解码器”为框架的模型在图像描述生成方面取得了突破性进展。本文针对这一架构提出一种基于显著性注意力机制的图像描述生成算法,主要工作如下:(1)根据人类视觉习惯,设计基于faster-RCNN目标检测框架的编码器,关注图像的显著区域并提取特征,克服单一的卷积神经网络在提取注意力分布权重时,因为无法均衡在特征图上的位置的“粗”与“细”,而忽视一些很显著的目标区域的缺陷。(2)提出具有自适应注意力机制的双层LSTM网络解码器,克服了单层LSTM结构简单,解码表达能力有限的缺陷,通过足够的深度和非线性变换来实现所需要的映射,将自适应注意力机制与双层LSTM进行有效结合,从而达到融合改进的目的。本文提出的编码方式针对显著性区域进行特征提取,解码方式结合了自适应注意力和双层LSTM网络,更深地挖掘了注意力资源并增强了语言解码能力,这种显著性注意力机制使模型性能有所提升。本文提出的模型及其变体在图像描述经典的MS COCO数据集上进行了实验,与多种先进主流模型进行了对比,并在BLEU、METOER、ROUGE和CIDEr这些图像描述领域标准评估指标上进行了评估。实验结果表明,本文提出的基于显著性注意力的图像描述方法优于其他六种主流方法。