随着信息化时代的到来,更多的人依靠网络获得所需要的资讯,比如用户点评、新闻报道、博客等各类社交媒体,但这种文本资料中存在着巨大的冗余数据,如何对这些文本资源进行处理就变得尤为关键。如果纯靠人工对每个文本资源进行分析然后生成文本摘要,需要花费大量的资源,甚至是一件几乎不可能完成的任务。自然语言处理领域的自动文本摘要技术为解决这个问题提供了思路。预训练语言模型通过训练大规模的语料库使其学习到语言的通用规律,再通过具体的下游任务相关语料进行训练使其符合下游任务要求。本文通过分析各预训练语言模型的特点,将其运用于中文文本摘要生成任务上,主要研究内容如下:（1）构建基于Seq2Seq结构并结合指针生成网络和强化学习的中文文本摘要基线模型。目前基于Seq2Seq结构的中文文本摘要模型还存在着暴露偏差的问题,导致其文本摘要模型表现效果欠佳。本文设计实现了基于Seq2Seq结构并结合指针生成网络和强化学习（PGN+RL）中文文本摘要模型。将传统语言模型的损失函数与强化学习的损失函数进行加权,减少暴露偏差带来的问题。实验表明,本文构建的PGN+RL文本摘要模型能有效提升模型生成质量,并将其作为本文的基线模型。（2）构建基于各预训练语言模型的中文文本摘要。通过对多个预训练语言模型进行研究,本文将各预训练语言模型应用到中文文本摘要生成任务中。在LCSTS数据集上进行实验并生成摘要实例进行对比,实验结果表明基于GPT-2与Uni LM的中文文本摘要模型与基线模型相比表现较好,基于BERT与ERNIE-GEN的中文文本摘要模型生成摘要的结果表现较差。（3）构建基于GPT-2改进的中文文本摘要模型。通过在编码阶段和数据预处理阶段对GPT-2预训练语言模型进行改进,提高GPT-2预训练语言模型在中文文本摘要生成任务上的性能。与基线模型以及其他预训练语言模型在数据集LCSTS上对比,实验表明本文的改进模型在ROUGE评分上达到最佳,通过对比模型生成摘要实例,表明本文的改进模型在生成摘要的可读性、连贯性以及包含句子完整性上表现更好,验证了针对模型改进的有效性。最后对比各模型在新的中文文本摘要数据集NLPCC上的表现,进一步验证本文提出的模型具有一定的泛化能力。综上说明了本文针对GPT-2预训练语言模型进行改进能够使其更好地应用于文本摘要任务中,并能进一步提升模型生成摘要质量。