随着深度学习技术的快速发展,与人们息息相关的数据形式——图像和文本的研究也越来越多,近几年来针对于图像和文本的研究存在着融合的趋势,即不单单只针对图像或文本进行研究,而是将两者放入到同一个领域进行研究。与之相关的主要研究领域包含两个,一是图像生成文本领域,二是文本生成图像领域。在图像生成文本领域,2014年首次提出多模态卷积神经网络(multimodal Recurrent Neural Networks,m-RNN),通过将循环神经网络(Recurrent Neural Networks,RNN)与卷积神经网络(Convolutional Neural Networks,CNN)进行结合取得了突破性的进展,该结构也奠定了图像生成文本领域的基本结构框架。在文本生成图像领域,2016年提出的使用深度卷积生成对抗网络(Deep Convolutional Generative Adversarial Networks,DCGAN)结合循环神经网络、卷积神经网络首次实现了端到端的文本到图像的合成。尽管后续两个领域的许多研究各自都取得了很大的进展,但进一步提升各自结果的质量仍然具有很大的挑战。整个课题主要进行图文转换算法研究,图文转换主要包含图像生成文本和文本生成图像两块研究内容。课题的主要目标是进一步提高图像生成文本和文本生成图像领域对应模型的性能,促进图文转换的进一步发展。整个课题通过两套方案来实现该目标,方案一是独立提升学习方案,即在各自的领域中进行改进以实现对应的性能提升。独立提升学习方案在图像生成文本的密集图标注领域中获取了更为优异的结果,性能上超越了现有的最先进的方法。该方案在文本生成图像领域中进一步提升了生成结果的清晰度和真实性,促进了文本生成图像领域的进一步发展。方案二是单边对偶学习方案,即将图像生成文本和文本生成图像的模型放到一个结构中并使用单边对偶学习的方式去训练从而最终提升图像生成文本和文本生成图像模型的性能。该方案通过实验表明了在提升图像生成文本和文本生成图像模型性能的可行性和有效性,在两个领域中均取得了更为优异的生成结果。通过这两套方案实现了图像与文本之间的任意转换,并且所有的实验结果展示了两套方案在获取更高质量转换结果上的有效性。整体而言,该课题研究一方面进一步促进了图像生成文本和文本生成图像研究领域的研究进程,另一方面为今后图像生成文本和文本生成图像相应模型能够具体应用打下坚实的基础。