文本连贯性研究在文本生成和文本质量评估等自然语言处理领域发挥着重要的作用。近些年来,随着互联网技术和社交媒体的迅猛发展,文本数据的数量呈指数级爆炸增长。然而,文本数据的来源众多,有的是人工撰写的,也有的是计算机自动生成的,文章的质量参差不齐,不通顺连贯的文章会引发歧义并影响可读性。因此,如何有效地对文本的连贯性进行建模和评估,从而让多语句的文本在逻辑上和语义上更加有意义,对于提升文章的质量至关重要。文本连贯性研究的两个核心要素包括了句子内容的理解和句间关系的挖掘,本文相应地提出四个研究点:针对每个句子,本文高效地提取句子特征,准确地捕捉句子的含义。针对句子之间的关系,本文避免模型受到句子输入顺序的影响,稳定可靠地学习句子之间关联信息;本文还利用预训练语言模型的优势获得句子间的相对顺序信息,从而有效地挖掘所有句子的依赖关系;本文也显著降低关系建模时的计算成本,以建立更加实用的连贯性模型。围绕上述内容,论文形成了“两个核心要素—四个研究点”的连贯性研究框架,通过设计一系列新颖的端到端的深度学习模型对文本连贯性进行全面的建模,同时提高网络的性能和计算效率。论文的主要贡献如下:1.为了在文本连贯性评估中更高效地捕捉每个句子的特征,本文提出了以卷积神经网络为基础的连贯性评估方法。模型创新地采用卷积神经网络学习句子分布式表达,有效地提取出句中重要的语言学特征。同时,本文还考虑了句子之间的关联信息,通过计算相邻句子向量的相似性来学习上下文内容与结构,从而对文本连贯性进行多方面的考量。本方法不需要复杂的预处理操作,更简单方便。模型在连贯性鉴别式任务实验上获得了最佳结果。2.为了防止句子排序模型在理解文本内容时受到错误的句子输入顺序的干扰,本文提出了以自注意力机制为基础的句子排序方法。该方法首次将自注意力机制引入排序模型中,利用自注意力函数分析句子间的语义关联并挖掘逻辑结构,捕捉全局依赖信息,有效地避免网络在为所有句子构建表示时受到句子输入顺序的影响,更加稳定可靠。本方法在句子排序任务和连贯性鉴别式任务的实验上都证明了其优异的性能。3.为了在句子排序时获得更准确的句子相对顺序信息与深层次的语义关联,本文提出了以预训练模型为基础的关系增强型句子排序方法。此方法充分利用预训练语言模型的优势,挖掘句子对的语义内容与逻辑关系,精准地预测句子之间的相对顺序。本文将此重要的信息同时融入编码器与解码器之中,从而全面地增强整个网络的连贯性建模能力。实验显示本方法取得了最出色的句子顺序预测结果。4.为了克服先前的句子排序工作存在的计算成本大、运行时间长的问题,本文提出了基于模型加速的高效关系型句子排序方法。该方法首次将语言模型加速思想和排序任务相结合,设计了轻量化的分解-融合型语言模型结构,采用分解和信息共享策略快速捕捉句子间相对关系,并引入多种知识蒸馏技术作为监督信息,使模型保持出色性能的同时显著地提高计算效率。本方法在三个连贯性任务的实验上展现了其优越性和通用性。