图像语句层次描述自动生成技术是结合计算机视觉和自然语言处理两个领域的前沿研究课题,是当前人工智能领域的研究热点之一。自动生成图像语句层次文本描述需要在识别图像中物体及物体关系的基础上,利用自然语言模型自动生成句子层次的文本描述,相较于图像中对象分类与识别目的在于使用单个的离散语义描述或索引图像的局部区域或整体抽象语义,自动生成语句层次的文本描述一副图像面临着更大的技术挑战。针对目前主流方法中语言模型概率采用最大似然估计法(Maximum Likelihood Estimate,MLE)导致训练阶段损失函数和评估指标不统一,同时测试阶段易导致错误传递的问题,本文提出了一种基于深度增强学习的图像描述语句生成模型。该模型利用策略梯度方法根据评价指标优化训练阶段的目标函数,采用基于平均回报值的蒙特卡罗学习算法评估状态的回报值,通过随机梯度下降法更新网络参数,达到训练和测试阶段统一采用评价指标进行生成语句的目的,自主指导生成高回报值的图像描述语句。在上述方法基础上,融入了图像语义特征的先验信息,论文设计构建了三种不同融合方式的模型,将图像语义特征和底层视觉特征两者进行有效融合,协同生成图像的描述语句,提高生成语句的语义丰富程度,进一步提升模型性能。论文通过公开数据集验证了所提出的模型和相关算法。实验结果表明,论文所提出的方法在句子连贯性和准确率及语义丰富程度指标上均超过了以最大似然估计为目标函数训练的模型。此外,通过融合图像语义特征,模型具有高层语义信息,进一步提升了图像描述语句生成的准确率。