基于递归神经网络(RNN)的语言模型已经在很多语言生成的任务中取得了非常杰出的成果，然而模型主要关注的是如何减少字符层面的误差，却因此导致了对句子整体的忽视。一个行之有效的办法是引入表示句子整体的潜变量，并在潜变量的引导下完成生成任务。本篇论文分析了在自然语言生成的任务中引入潜变量模型的原因和理论背景，我们主要关注两个最为重要的生成模型:变分自编码器和生成对抗网络。这两个模型都利用潜变量完成任务并且可以有效应用在大规模数据集上。我们首先分析基于字符的语言模型的有效性，然后应用变分自编码器为生成过程带来更多变化。为了进一步提高生成性能，我们尝试了两种可能性:使用生成对抗网络对潜变量分布进行建模以提高灵活性，利用提出的wake-sleep过程提高语言模型和潜变量分布的能力。最后，我们实现了一个条件变分框架来达到通过手动指定的特征来控制生成过程的目的。我们的发现如下:　　在语言生成任务中，当前最好的语言模型和人类表现之间仍存在巨大差距。我们需要更先进的技术来改善生成过程。　　变分自编码器的应用可以帮助生成更长且一致性更好的句子。　　当在语言生成中应用生成对抗网络时，训练对超参数非常敏感，性能十分不稳定，需要更多细粒度的控制。　　Wake-sleep训练有助于改善变分自编码器的整体性能。与生成对抗网络相比，它具有更少的计算复杂性和更稳定的训练过程。　　条件变分框架具有将外部知识引入生成过程的潜力，在不同的语言生成任务中有很强的控制作用。