视觉故事生成是最近兴起的一个研究方向,旨在从一个离散图像序列生成主题一致、情节连贯和表达丰富的故事,并在文学创作及教育行业具有广泛的应用价值,不仅可以减少文字工作者的工作量,同时也可以为少儿教育及考试提供丰富的素材;研究视觉故事生成对多模态文本生成任务的发展也有促进作用。由于图像序列中的各图像间可能不具有直接相关性,挖掘图像之间的关联性较为困难,目前方法生成的故事主要存在主题不一致、情节连贯性差、词汇及内容单调重复的问题。因此本文针对提升视觉故事生成任务生成故事的主题一致性、内容多样性、情节连贯性以及内容准确性等问题展开研究,本文主要研究工作如下:1、针对视觉生成故事任务中生成故事主题不一致,句子之间关联性差的问题,提出了一种互补融合图像序列主题特征、视觉特征以及语义关系特征的端到端模型。该模型采用自编码器挖掘图像序列的主题特征,并通过主题特征筛选由图像中实体推理出的语义关系特征,然后利用相互注意力融合高层视觉特征和语义关系特征。该方法既考虑了整个图像序列的主题,增强了生成故事的主题一致性,又考虑了不同图像之间视觉特征和语义关系特征的相关性,从而增强了生成故事句子之间的连贯性。2、针对视觉生成故事任务中生成故事的词汇以及内容重复单调,且不能较准确地反映图像内容的问题,提出了一种基于多源指针生成网络的视觉故事生成模型。通过多源指针生成网络,解码器在生成故事过程中不仅可通过提取的特征直接生成单词,还可以动态地从图像的对应描述和图像的对应知识图中复制单词,既增强了生成故事对图像内容描述,也增强了生成故事对图像相关联知识的描述,从而提高故事叙事的准确性及内容的丰富多样性。3、针对端到端视觉故事生成模型难以生成具备多样性、连贯性的故事,参考目前预训练语言模型在若干文本生成文本任务上的杰出效果,采用预训练语言模型BART提升视觉故事生成效果,提出了一个两阶段视觉故事生成模型。第一阶段微调预训练BART,使其能根据图像序列中所有图像对应的描述生成粗略的故事,第二阶段通过图像序列的视觉特征对生成的粗略故事进行“修改”,通过级联解码器生成精细故事。该方法既结合了BART在文本生成领域的优势,也充分利用了能互补包含图像序列信息的视觉特征和图像描述特征,从而增强了生成故事叙事的多样性、连贯性和准确性。