图像描述生成技术是横跨计算机视觉和自然语言处理这两个领域的新兴学科,将图像和文本两个不同模态的信息融会贯通。例如,在淘宝、京东、拼多多这样的电子商务网站中,文本和相应的配图以及每个用户的交叉访问行为相结合一直出现在搜索引擎上。得益于深度学习的发展,图像描述生成的算法在近几年取得了很多进步。作为新的生成框架,深度学习的方法还有很多进一步优化性能的空间。主流的图像描述生成按照训练-测试数据分布的不同设置,主要可以分为监督学习图像描述生成和迁移学习图像描述生成。监督学习图像描述生成主要研究训练和测试来自同一个分布数据集的问题,迁移学习主要研究在训练集上训练的模型迁移到数据分布不同的测试集的问题。本文针对监督学习图像描述生成中的训练-测试鸿沟问题和迁移学习图像描述生成中的训练源域泛化到测试目标域的鸿沟问题,分别展开研究,主要贡献包括以下两个方面:针对监督学习图像描述生成,本文提出了一种基于视觉线索引导的多阶段解码描述生成框架。现在主流的方法一类是基于RNN或LSTM解码器框架,缺乏模型的并行性。另一类是最新的可以保持并行性的Transfomer框架,但这些方法只能使用真实标签教师强制方法进行训练,导致训练-测试鸿沟。为了解决这个问题,本文提出了利用多阶段解码方式来帮助Transformer解决图像描述生成的训练-测试鸿沟和保持并行性问题,并且在多阶段解码模块的基础上使用视觉线索,使得模型在自学时更关注视觉重要的单词,这更加符合人类大脑的认知直觉。大量的实验分析和探究充分地证明了本章节提出方案的有效性。对于迁移学习图像描述生成,本文提出了一种基于多源域和跨数据集设置的域泛化图像描述生成基准。如果想要将训练好的描述模型泛化到一个新的图像领域,并且在这个新领域数据获取不方便的情况下,则需要减少对新领域数据的依赖。本文还发现大多数描述模型都集中在同一个域上进行训练和测试,这会导致模型过拟合特定领域的偏差,只学习特定领域的特征;另一方面,现存的域泛化方法不能直接应用于图像描述生成,因为大多数域泛化任务的标签空间是相同的,而域泛化图像描述生成任务的标签空间是多样化的。因此,为了进一步提高图像描述生成模型在未知域上的性能,本文首先构建一个涵盖多个域的基准。然后本文设计了一种基于视觉-语言三元组采样的度量学习方法,以改进学习与领域无关的特征并且弥合领域鸿沟,充分的实验验证了其良好的泛化性能。