文本摘要技术是自然语言处理（Natural language processing,NLP）领域中重要的一部分。近两年来,预训练语言模型在自然语言理解（Natural language understanding,NLU）任务中的成功应用,有力地推动了 NLP技术的发展进程。其中,以 BERT（Bidirectional encoder representation from transformers）为代表的预训练模型在NLU任务上有着得天独厚的优势,却难以应用于自然语言生成（Natural language generation,NLG）任务。因此,如何将预训练语言模型应用到文本摘要任务是一项挑战。本课题在分析了序列到序列（Sequenceto sequence,Seq2Seq）问题之后,以编码器与解码器模型为框架,研究了预训练语言模型对文本摘要任务的影响,主要研究工作如下:（1）目前基于深度学习的生成式摘要方法采用的Seq2Seq模型,通常指的是结合注意力机制的循环神经网络（Recurrent neural network,RNN）模型。其缺点在于无法并行计算,模型训练速度缓慢。鉴于Transformer模型在机器翻译任务中取得的出色表现,提出采用自注意力机制的Transformer模型代替长短期记忆网络（Long short-termmemory,LSTM）模型或者门控循环网络（Gaterecurrent unit,GRU）模型。最终,本课题提出基于Transformer的生成式摘要模型（Transformer-based abstractive summarizer,TransAbsSum）,并结合指针生成网络（Pointer-generator network,PGNet）来缓解未登录词（Out of vocabulary,OOV）问题。在测试与推理阶段,采用集束搜索（Beam search）来提升模型生成摘要的多样性。（2）基于深度学习的摘要模型往往采用随机初始化的神经网络参数开始训练。其中,编码器部分没有经过训练,将导致模型训练的收敛速度缓慢,难以学习到语言的特性。而预训练语言模型已经在多项NLP任务中取得了突破性的进展。因此,本课题选取RoBERTa（Robustly optimized BERT）作为改进目标,将模型的编码器部分替换为预训练语言模型,提出基于RoBERTa的生成式摘要模型（RoBERTa-based Abstractive Summarizer,RoBERTaAbs Sum）。（3）由于神经网络存在长距离依赖问题,基于深度学习的生成式摘要模型难以对长文本进行摘要。一旦模型输入大量序列,神经网络无法完全保留这些序列信息,将导致原文中关键信息的丢失。因此,本课题提出了多特征加权的预摘要方法（Pre-summarization,PreSum）,通过抽取六种隐含特征对长文本进行初步的压缩,将压缩后的句子作为候选摘要,输入到基于深度学习的生成式摘要模型作进一步处理。最终,本课题得出两个结论。第一,实验表明基于预训练语言模型的生成式方法是切实有效的。其中,RoBERTaAbsSum+PGNet模型效果显著优于现有的摘要模型。但是,相较于近期开源的预训练摘要模型,仍有不足之处,后续工作打算采用强化学习策略对摘要模型进行优化,期望能够提升摘要模型的性能。第二,实验表明采用多维度加权的预摘要方法,抽取出的候选摘要优于传统的抽取式摘要结果。并且,经过预摘要处理后生成的摘要结果,明显优于由长文本直接生成的摘要结果。