随着计算技术的高速发展和大规模数据集的提出,深度学习技术分别在计算机视觉和自然语言处理两个单模态领域上取得了突破性的成果。然而真实世界中的问题通常涉及多模态信息,因此研究者们在先前基础上开始聚焦于计算机视觉和自然语言处理的交叉领域。近年来,联合视觉和语言的相关任务成为研究热点,其中图像描述生成任务是提出最早,同时也是最基础和最重要的任务之一。图像描述生成任务要求计算机能准确且流畅地用自然语言描述图像中的内容。由于其具有的理论和实用价值,该任务自从被提出就受到了国内外学界和工业界的广泛关注。从2015年开始,基于深度学习的编码解码框架开始在研究社区中流行,并一直蓬勃发展至今,同时也取得了令人印象深刻的结果。然而该任务上的研究依然存在以下问题:第一,大多数现有方法专注于生成和图像全局语义匹配的描述性语言,而忽略了生成过程中的局部匹配,进而影响了系统的可解释性和可靠性;第二,大多数现有方法选择从左到右地生成描述语言,这种方法虽然直观,但是不能利用更丰富的双向语言信息和约束;第三,在加速图像描述生成的运行方面,现有方法没有很好地达到速度、生成质量及训练方式简易性三者间的平衡;第四,现有的基于视觉语言预训练的图像描述生成模型虽然很大程度上提升了生成描述的质量,但是它们需要消耗庞大的计算资源,并有被大公司垄断的趋势。这给图像描述生成的研究设置了无形的壁垒。为此,本文针对上述图像描述生成中的问题开展了一系列的研究,主要的研究内容如下:1.提出了一种用于增强图像描述生成模型局部对齐的弱监督方法。本文先提出了一种词性增强的图文匹配模型,然后利用蒸馏学习得到该模型内部更准确的图文局部对齐关系,并将其作为图像描述生成模型中视觉注意力模块的显式监督信号来改善图像描述生成模型的局部对齐。最后本文还探索了将图文匹配分数作为强化学习的奖励来隐式地改善局部对齐性。实验表明该方法能够有效地提升图像描述生成模型的局部对齐准确度和可解释性。2.提出了一种用于增强图像描述生成约束和信息利用的紧凑双向模型。本文提出了一种可以利用双向语言信息和约束的紧凑双向图像描述生成模型。具体来说,本文利用单个图像描述生成模型同时处理句子的正向和反向生成,并且可选择性地允许双向信息交互,最后从正向和反向中选择概率最高的描述作为输出。本文还将常规单流强化学习在此架构下扩展到了双向版本。实验表明这种结构能够利用双向上下文为图像描述生成提供更好的约束,同时能够自然地实现句子级别的集成且可并行执行,并达到了先进的性能。3.提出了一种用于兼顾图像描述生成速度、质量及训练简易性的方法。本文引入了一种半自动回归的结构。在该结构下,组内单词是以完全并行的方式生成,组间仍然保持原有的自动回归生成方式。这种方法可以通过调节组的大小来控制速度与质量间的均衡,并且可以直接继承原有自动回归生成的训练方式。本文进一步利用句子级别的奖励分数,通过强化学习缓解了局部并行导致的不连贯性。实验表明该方法很好地兼顾了图像描述生成速度、质量及训练简易性。4.提出了一种基于预训练的计算资源友好型的图像描述生成替代模型。本文站在大规模预训练的语言模型和视觉模型的肩膀上,基于‘选择交互转换’的设计原则,设计了两个高效的小连接网络连接它们用于图像描述生成。实验表明提出的模型可以获得与当前最好的生成式视觉语言预训练模型相当的性能,与此同时它消耗更少的资源,收敛得更快,使该领域的研究更加开放。