随着移动互联网时代的高速发展,多媒体内容在互联网中的数量呈现爆炸性地增长。图像作为人类交流最常使用的信息媒介之一,能够直观地表达丰富的视觉信息。图像描述旨在通过学习的手段让计算机能够像人类一样通过理解图像中的内容,利用自然语言生成技术产生对应的文字描述。图像描述跨越了图像与文本的语义鸿沟,因此在信息检索、人机交互等领域具有重要的意义。如今,图像描述任务大多采用深度生成模型技术以灵活地产生与图像语义匹配的文本描述,然而单纯依赖生成式模型产生描述的方法仍然面临着无意义生成、逻辑错误生成、语法错误生成、长序列建模困难等问题。与此同时,图像描述任务的检索式方法虽然能够产生细节丰富且文法正确流畅的描述,却缺少足够的灵活性而无法根据图像内容量体裁衣地产生与之最匹配的描述。为此,本论文探究如何有效地结合生成式方法与检索式方法各自的优点以改善图像描述的效果,主要研究内容包括:1.提出生成式与检索式融合学习的图像描述语句生成模型。针对图像显著区域描述难以产生精准语义的问题,构建了基于图像语义相似度的检索模型与结合检索知识的语言生成模型,并提出拷贝机制将检索结果中相关的词语引入到文本生成中,设计了检索式判别器与描述生成器的交互式对偶对抗训练机制。2.提出检索知识推理的层次化融合图像描述段落生成模型。针对语言生成模型在长序列文本生成中产生无意义、不相关描述的现状,构建了图像描述段落的场景图谱。通过引入检索知识的手段,辅助模型完成层次化的句子级别的主题规划与词级别的语义建模,并通过相关描述与知识三元组辅助模型生成精准且流畅的长文本描述,此外构建了图像描述段落生成任务的中文数据集。3.构建图像描述视觉辅助系统。针对市面上缺少图像描述视觉辅助系统的现状,通过对前述算法的整合研发了一个在线图像描述系统。该系统将基于生成式与检索式融合学习的方案应用于图像描述生成中,并提供语言生成的参数控制,将生成结果可视化,达到了较好的描述效果。