文本生成图像,即给定一段文本描述,生成符合该文本语义的图像,这是一项结合自然语言处理和计算机视觉的跨模态任务。完成这项任务有两个目标:一是生成的图像保持一定的自然度,二是生成的图像包含文本信息,即图像与文本的语义一致。近年来,研究者们在文本生成图像任务上不断突破和创新,生成图像的质量越来越高。但是,由于该任务的复杂性,生成的图像与真实图像还有一定的差距。相对于类别标签等条件输入,自然语言文本的复杂性使得模型在利用输入条件的细节信息时面临着很大的挑战。同时,自然语言文本具有很强的主观性、多样性,即使是相同的语义信息,文本的表达形式也各异,这使得模型在保持生成的图像与文本的语义一致性上有一定的困难。另外,对于文本生成图像任务,目前的研究大多基于英文,一是因为英语是全球第一大语言,权威性的论文几乎都是以英文形式发表,英文的关注度也远远高于其他语言,二是因为文本生成图像任务需要大规模的文本和图像对应的数据集,数据集的标注既费时又费力,而英文-图像数据集相对比较完备。根据中文生成图像的研究一直比较少,因此需要更多的构思和创新。基于此,本文着力于探索中文文本生成图像的任务,并在此基础上提升生成图像的细节,保持图像与文本的语义一致性。本文主要研究工作可概括如下:1、构建了一定规模的中文-图像数据集,由于中文和英文的语言规则不同,如分词问题,采用了针对中文文本的处理方式。2、针对中文生成图像任务,本文提出了一个结合注意力机制和文本语义对齐结构的生成对抗网络结构。以堆栈生成对抗网络为基础框架,通过堆栈的结构逐步的生成高分辨率的图像。模型的注意力机制包括两个方面:1.将文本编码为全局句子向量的同时,将文本中独立的词语也编码为向量,在绘制图像子区域时,注意力将集中在与其最相关的词语上,尽可能使每个单词都在图像中被正确的表示;2.深度注意力多模态相似模型,将文本特征和图像特征映射到一个公共的语义空间,计算词语级别和句子级别的图像-文本的相似度,从而为生成器的训练提供细腻度的图像-文本匹配损失,解决了生成图像不够准确、细节不够清晰的问题。在模型生成图像的最后加入文本语义再对齐结构,将生成的图像重新描述为文本,计算重新描述的文本与原始的条件文本之间的相似度,提供额外的文本语义再对齐损失,解决了因中文表达形式多样,导致生成的图像出现语义偏差的问题。3、对本文提出的模型在中文数据集上进行实验,并与相关变体模型进行对比,实验以IS、FID作为客观评估指标,实验结果表明,在这些指标上本文提出的模型生成图像的效果优于其他模型,生成的图像更加真实、细腻、清晰、多样,且与真实图像有更小的差距。同时,本文还设置了一种主观测试作为补充评估,评估结果表明本模型生成的图像在人眼视觉效果明显上优于基准模型。另外,对模型进行了语义捕捉能力实验,测试结果表明模型能够很好的捕捉文本中的细微语义差异,根据文本中细微词语的变化发生很大的像素改变。最后,将模型与其他模型进行比较,实验结果表明本文提出的模型在生成图像的物体结构、清晰度以及细节表现上都优于其他模型。综上,本文提出了一种针对中文文本生成图像的生成对抗网络模型,模型以堆栈生成对抗网络为基础框架,结合了注意力机制和文本语义再对齐结构,在保证生成图像的清晰度的同时,保持图像与文本信息的语义一致,为中文文本生成图像的研究提供了一种思路。