现如今互联网中的各种业务活动都会产生大量的文本数据,如何快速地从这些文本数据中获取关键信息,提高人们的阅读效率变得十分重要。基于seq2seq模型的自动文本摘要技术通过对原文进行全面的理解之后,用简洁凝练的语言概括文章的主要内容,成为了解决这一问题的关键技术手段。但模型存在对原文理解不充分以及生成的摘要缺乏原文重要信息片段的问题。因此,本文从挖掘文本深层次的语义特征以及获取原文中重要信息片段的角度出发提高生成摘要的质量。首先,对从公开数据集LCSTS中提取出的原文本和参考摘要进行数据清洗、分词等预处理工作,将数据转化为模型所适用的数据类型,并且对预处理后的原文本及参考摘要的长度进行统计分析,为后续建模过程中相关参数的设置做准备。其次,为了获得深层次的文本语义特征,引入预训练语言模型Bert作为词嵌入层。以往传统的词嵌入模型Word2vec只能学习到局部的上下文信息,无法区分同一个词语在不同语境下的不同含义,导致获得的词向量有局限性无法包含多样的文本特征。而Bert预训练语言模型通过动态的捕捉文本的上下文信息,使产生的词向量随着语境的变化而变化从而解决一词多义的问题,进而获取更加丰富的文本向量化表示。实验结果表明,融合Bert词嵌入的自动文本摘要模型可以提高生成摘要的质量,与使用Word2vec作为词嵌入层的基准模型相比在Rouge-1、Rouge-2和Rouge-L三种评价指标上分别提升了4.45%、2.6%和3.94%。最后,从获取原文中重要信息片段的角度,对融合Bert词嵌入的自动文本摘要模型进一步改进优化,提出基于序列拷贝的自动文本摘要。现有的基于指针生成网络的拷贝机制是对词语进行逐个拷贝,会出现拷贝遗漏的情况,导致模型不能正确地完成序列拷贝的工作。因此,本文通过对单词的拷贝进行连续约束,让模型在连续约束的条件下进行迭代训练,使模型具备序列拷贝的能力,进而获取原文中重要的信息片段。实验结果表明,基于序列拷贝的自动文本摘要可以提高生成摘要的原文信息覆盖量,进一步提高模型的性能,与融合Bert词嵌入的自动文本摘要模型相比在Rouge-1、Rouge-2和Rouge-L三种评价指标上分别提升了1.8%、1.72%和1.92%。