计算机视觉和自然语言处理是当前人工智能研究的两个热门方向,而图像描述则是两者交叉融合的一个综合性研究课题,近几年也越来越多地受到学术界和工业界关注。让机器学习理解并翻译一张图片是非常具有挑战性的,需要利用模型学习理解图像内容,除此之外模型还需要抓住图像的语义信息并且学习用自然语言表达图像内容,最后生成语义逻辑正确、通顺连贯且人类可读的句子。目前基于深度学习的图像描述普遍存在着一些问题:首先,模型的损失函数为交叉熵损失,这种损失函数与评价指标Bleu4等指标对模型的优化方向不一致;其次,模型的训练阶段和测试阶段存在着曝光偏置问题,也就是训练时,模型会使用真实标签作为训练数据,而测试时则是使用生成的语句代替真实标签,因此会导致训练和测试时模型对真实标签的暴露不一致问题,为了解决上述两个问题,本文主要从基于Transformer模型和自评价机制的强化学习算法入手。本文主要工作为:1.提出了一种基于机器翻译领域Transformer模型的图像描述模型Caption Transformer。编码器-解码器的图像描述生成模型已经成为当前主流模型框架,注意力机制的应用也极大地提高了图像描述效果。主流的模型基本都以卷积神经网络（CNN）作编码器提取图像特征,以循环神经网络（RNN）作解码器生成描述语句。但是简单的CNN特征提取能力不强,不具备多视图（Multi Views）学习能力,RNN是按顺序生成单词,限制了模型并行计算能力且存在长期依赖问题。为了解决这些问题,本文将Transformer模型运用到图像描述领域,并在编码器之前加入多个目标检测器提取图像特征,提升模型多视图学习能力,检测到的图像特征作为解码器的输入,并通过实验证明了我们的模型在MSCOCO数据集上效果比Faster RCNN加LSTM的基准模型效果更好。2.提出一种基于自评价策略的强化学习图像描述模型。为了解决传统的图像描述模型在训练阶段和测试阶段的曝光偏差（Exposure Bias）问题和优化目标与评价指标不一致的问题,我们在Caption Transformer的基础上引入强化学习（Reinforcement Learning）的训练方法,参考了行为评价强化（AC）算法和强化学习（Q-learning）算法,提出了基于自评价机制的强化学习算法。当前的大多数图像描述模型都以最大似然估计建模,通过最小化交叉熵损失（Cross Entropy Loss）函数训练模型。在训练时解码器每一时刻输入的都是真实词（Ground Truth）,但在测试时解码器依据前一时刻模型预测出来的单词来预测该时刻的单词,如果某一时刻解码器预测的单词得不够准确,错误将会累积传递,之后所有单词的预测都会受到影响,也就是曝光偏差问题。模型在训练时的目标是最小化交叉熵损失函数,但是在评价生成的描述语句质量时用的是BLEU等客观指标,这就是模型训练目标和评价指标不一致的问题。为了解决这些问题,我们运用基于自评价策略的训练方法,直接以BLEU等指标为目标对模型进行训练,对比实验表明这种方法能够进一步提升模型效果。