图像描述模型需要识别图像中的对象并给出描述,传统模型可以为训练集中出现过的对象生成良好的描述,结合目标检测器可以进一步描述传统模型无法识别的对象。但要描述目标检测器未见过的对象,就必须再次训练以增加目标检测器可识别对象的类别。为了克服过去图像描述模型对预训练目标检测器的依赖问题,本文提出使用小样本目标检测器来检测待描述图像中的对象,并且结合多模态知识图谱提出了一种新的图像描述模型,无需为识别新对象而再次训练模型,并且利用知识图谱中的语义信息提升描述语句的质量。本课题主要完成了以下研究工作:1)设计实现了一种基于小样本目标检测器和语义信息的图像描述模型。利用小样本目标检测器来检测传统描述模型无法识别的对象,并且给出对象的名称,利用知识图谱来提供这些对象的背景知识,结合这些信息,通过引入注意力机制来引导模型选取合适的单词,进而生成包含这些对象的描述语句。实验结果表明,该模型较基线模型在各项评测标准上均有所提升。2)构建了为图像描述模型提供背景信息的多模态知识图谱。在多模态知识图谱中每个对象包含多张样本图像,并且为每个类别加入相关的三元组信息,通过增加三元组中实体的同义词信息进一步扩大知识图谱的规模。为了充分利用多模态知识图谱中为每个对象提供的多张样本图像,小样本目标检测器会使用这些图像进行检测,根据检测结果中的置信度计算待描述图像中是否包含该对象。根据确定对象类别时所用的样本图像,查找到在多模态知识图谱中相链接的三元组信息,提供给图像描述模型用于生成描述语句。3)设计实现了一种基于多模态知识图谱的图像描述模型。通过扩大样本图像的规模提高了目标检测器的检测能力;结合本文构建的多模态知识图谱,为图像描述模型提供待描述对象的图像特征信息、三元组信息和同义词信息;使用卷积神经网络将多模态知识图谱提供的三种信息进行整合,作为待描述对象的背景知识信息提供给描述生成模块,帮助模型图像的描述。另外,提出了一种新的对图像描述结果进行评价的方法,用来判断模型是否对图像中的重点对象进行了描述。