最近十几年,大规模训练数据集以及高性能计算机硬件的出现带动了深度学习技术的迅速发展,深度学习技术在许多领域得到了广泛应用。随着互联网的快速发展以及摄像设备的普及,网络中的图片数量成几何倍增长,仅靠人力已无法对图片内容进行鉴别。所以,如何让计算机自动描述一副图像是当前图像理解领域的研究热点。该任务涉及到计算机视觉与自然语言处理两大人工智能领域,其基本原理就是对要描述的图像进行信息提取,识别出其中的人物,感知场景内容以及人物之间的关系,最后用一段逻辑语言表达出来。本文对近些年来图像描述方法在国内外的研究发展状况进行研究,研究中发现,传统的图像描述方法在提取图像特征信息的过程中忽视了图像中目标之间的相互依赖关系。本文提出了一种基于区域相关性的图像特征提取优化方法,将VGG与RPN结合起来进行图像特征提取和候选区域选取,对每一个候选区域计算它与其他所有区域的空间距离之和,以此作为该区域与其他区域总体相关性的度量,基于这个度量值来对候选区域对应在特征图上的部分进行加权优化,最终将加权优化后的图像特征图作为输入,送给语言模块参与文本的生成。然后,本文对Attention机制在图像描述任务中的应用进行了研究。传统的Attention关注于图像的空间位置,却忽视了对语义信息的关注,本文提出了一种改进的语义Attention机制,不需要额外的语义信息提取操作,Attention机制是作用在图像特征图上的,而基于CNN的图像特征提取过程中,卷积层输出的图像特征图由多通道图叠加生成,其蕴含了多个层级的抽象语义信息,因此本文提出了一种对图像特征图的通道层进行关注的Attention,形成了一种语义Attention。语言生成模块以NIC模型为基础,同时将Attention融合进来,引入的Attention模块可同时关注图像空间和语义信息,前文加权优化后的图像特征图作为语言模块的输入,一同进行图像描述文本的生成。最后,本文进行了实验并与前人的研究进行比较,模型的图像描述训练采用的是MS COCO数据集。实验结果表明本文提出的基于区域相关性与Attention的图像描述方法能够显著的提升图像描述的质量。