随着近些年来自然语言处理以及深度学习的飞速发展,自然语言生成领域展现出了新的活力,为迎合用户多种需求而产生的自然语言生成场景也成为了学术界和工业界探讨与研究的热点。自然语言生成可以简单划分为数据到文本的生成以及文本到文本的生成,旨在通过分析并理解输入的数据或文本,进而撰写得到符合用户需求的自然语言文本。自然语言生成技术已经广泛应用在了智能助理、机器翻译、人机对话、智能写作等领域,并成为了人工智能逐渐走向成熟的标志。当前,文本到文本生成任务的主流做法是进行序列到序列的建模,使用“编码器-解码器”框架,包括三个步骤:对输入的原始文本提取语义特征信息;将原始文本的语义信息映射到输出的语义信息;对语义信息进行语言建模。文本到文本生成算法的困难在于:输入的原始文本语义信息冗杂,且具有多义性;另外,当前主流的模型都是采用Transformer模型,而Transformer的核心结构点积注意力机制是通过实例级标记到标记的交互来学习权重的,缺乏一致的上下文语境。为了解决上述问题,本论文研究并实现了基于端到端的Transformer网络的条件文本生成算法。首先,引入了分支卷积结构,使用不同大小的卷积核的卷积网络来提取输入文本中不同的语义信息,以丰富语义特征;然后,本论文提出了全局交互注意力机制,使得模型兼顾到了全局语境。实验结果证明,本论文提出的算法在文本摘要任务、条件故事生成任务、条件情感类别生成任务中均优于目前的主流算法,尤其是在文本摘要任务中,ROUGE-1、ROUGE-2、ROUGE-L指标比最新的文本摘要算法Uni LM分别提高了0.07%、13.06%、0.72%。接下来,本论文研究了图像到文本的生成,并由此延伸到对应的文本到图像生成任务,经典的图像到文本的生成以及文本到图像的生成是两个独立的特定于任务的模型。本论文以多模态Transformer作为主体模型,利用Transformer与任务无关的设计,将图像到文本的生成和文本到图像的生成都看作是序列到序列的生成,来实现一个统一的框架;此外,还提出利用交叉熵损失函数与KL散度共同监督图像到文本的生成,利用MSSIM损失函数来监督文本到图像的生成。实验结果证明,本论文提出的算法对比特定于任务的文本到图像的生成模型DM-GAN,在CLIPScore指标上有8.7%的提升,并将FID指标结果降低了13.1%;对比最新的双向生成模型X-LXMERTFT,在BELU@N、ROUGE-L、METEOR、CIDEr-D、SPICE、CLIPScore各项指标上分别有19.9%、6.6%、7.3%、16.7%、11.0%、7.2%的提升,并将FID指标结果降低了8.8%。本论文研究并实现的条件文本生成算法和双向图像与文本生成算法可以应用在文本生成任务（如智能写作、新闻标题生成、故事生成等）、图文跨模态任务（如图文互搜、图片预览等）等多种场景,对自然语言生成发展和应用具有一定的理论意义和实用价值。