近年来,人工智能不断发展,已经扩展到日常生活的方方面面。作为人工智能的重要子领域,自然语言处理方向上涌现出越来越多的重要技术,段落级的长文本生成技术也得到了极大的发展。目前,段落级的文本生成主要有两种做法,抽取式是从语料中抽取句子进行组织,形成可读的连贯文本;生成式是通过端到端的深度神经网络,逐字地生成段落文本。但是,目前神经网络生成的文章依然有着连贯性较差的情况,尤其在抽取式方法中,问题更为明显。为了缓解文本生成的连贯性问题,本课题以句子排序技术的连贯性建模能力为依托,研究抽取式和生成式的文本生成。句子排序技术关注一个段落内各个句子之间的位置及顺序关系,是一项比较通用的连贯性建模技术。我们首先研究基于预训练模型的句子排序模型。我们在经典排序模型基础上,复现方法,引入预训练模型信息。然后,我们研究了基于预训练的Transformer编码器直接表示的句子排序方法,又研究了端到端的标签生成式句子排序技术,将排序问题转化成一个简单的生成问题,并在此基础上,引入了迭代机制和连贯性评价,达到了目前句子排序任务中的最好效果。其次,我们研究基于句子排序技术的抽取式作文段落生成。我们提出了融入知识的中文预训练模型BART-knowledge,基于Transformer的结构,融入知识进行预训练,与其他现有的预训练模型进行对比,可以在中文句子排序任务中达到最好的指标。我们针对抽取式的高考作文生成这一实际场景,改变以前项目中原有的先排序后截断的段落组织方式,重新构建了自监督的训练和测试过程,探索在抽取式作文生成场景下最好的段落组织模型,可以生成更加连贯、一致的段落。最后,我们研究句子排序技术增强的生成式段落生成。探究在目前的预训练模型微调的段落生成的基本范式下,引入句子排序技术的相关连贯性建模,改善生成文本的质量和连贯性。我们首先引入多任务学习的思想,在微调过程中加入句子排序的判别损失和不同位置的句子相似度损失,提高了段落生成任务的各项指标。其次,我们探索了基于句子顺序对比学习的段落结尾生成技术,从而提高生成结尾的连贯性和一致性,取得了较好的效果。