图像语义理解是计算机视觉,自然语言处理和机器学习领域中的一个基础问题。目的是将图片转换成一句能描述图片中对象及对象之间关系的句子。将复杂的图像特征转化为简单的语言描述在图像分类、图像检索、图像动作识别等领域中有较广泛的应用前景。近来,许多方法采用编码-解码框架,在训练阶段,使用当前时刻状态和前一时刻的目标单词预测当前的目标单词。在预测阶段,由于上一时刻的目标单词并不确定,而使用上一时刻模型输出的单词作为当前时刻的输入,造成了训练与预测阶段的不一致。当某一时刻生成的单词不够准确时,可能导致之后生成的单词有所偏差。因此,本文主要进行以下内容的研究:(1)由于编码-解码框架中存在训练和预测过程不一致的问题,本文分析了该问题对循环神经网络和注意力机制产生的影响,并提出了自动限制损失方法。该方法不同于将循环神经网络中每个时刻的损失简单相加,而是为每个时刻的损失设置了权重,使当前时刻的损失权重随着之前时刻单词错误率的减小而增加,从而减小了训练阶段和预测阶段的差异。(2)在自动限制损失方法中,采用之前时刻单词的准确率控制之后时刻单词的损失权重,可能会忽略之前时刻目标单词的近义词或同义词对损失权重更新产生的影响,因此本文在训练阶段计算每个时刻的损失权重时,不仅考虑之前时刻目标单词的准确程度,也计算之前时刻模型生成的概率分布与目标单词的相似度,从而进一步提高了自动限制损失方法对于图像语义理解的效果(3)在MSCOCO数据集上对本文方法进行了测试,实验结果表明:相对传统最大似然方法,本文方法取得了更好的效果,并能使注意力机制关注的图像区域更著准确。