图像描述生成旨在为给定的图像生成相应的自然语言文字描述。图像描述生成涉及计算机视觉和自然语言处理领域,具有很强的挑战性。近年来,基于深度神经网络的图像描述生成方法虽已取得极大进展,然而现有方法仍无法避免因图像高层语义的缺失而造成的描述文本不准确不自然等问题。因此,本文结合图像的高层语义信息,研究图像描述生成的方法和技术。本文的主要工作如下:(1)基于神经网络的编码-解码模型虽能依赖大规模训练集学习到编码后的图像特征与解码生成的描述文本之间的关联关系,但仍无法避免生成的描述存在语义缺失、语义错误等缺陷。针对此问题,本文在经典的编码-解码模型基础上进行了改进,提出了一种融合高层语义再生成的图像描述生成模型,即先利用Faster R-CNN检测出图像中的高层语义词,再通过注意力机制将高层语义信息融入到网络模型中,对初始图像描述进行再生成。实验结果表明,融合高层语义信息有助于改善图像描述文本的质量。(2)研究发现,人对图像进行描述时,不仅依赖自身的语言水平,还依赖图像内容中未明显包含的常识性知识,而现有的图像描述生成模型很少能充分利用这类常识性知识。针对此问题,本文提出一种基于图像高层语义引入外部知识的图像描述生成模型。该模型根据图像的高层语义信息获取与图像相关的外部知识,之后通过注意力机制,将获取到的相关外部知识融入到网络模型中,从而生成更好的图像描述文本。实验结果验证了该模型的有效性。