自然语言中的推理关系,又称为文本蕴含关系,是一种基本的文本间语义联系,广泛存在于自然语言文本中。很多信息处理任务或多或少地都需要面对包含蕴含关系的文本。如果有一种技术能够处理其中的蕴含关系,那这种技术就能够为这些任务提供助力。因此,文本蕴含相关研究是自然语言处理领域的一项基础性工作,可以辅助其他信息处理任务的进行,并且具有丰富的应用场景。一般的二元关系研究,通常围绕二元关系的识别、抽取、生成这三个基本研究任务展开。类似地,作为一种二元关系,文本蕴含也有3个基本研究任务——文本蕴含关系识别(又称为自然语言推理)、文本蕴含知识挖掘和文本蕴含后件生成。尽管取得了不错的进展,但之前的有关研究存在一些局限:(1)文本蕴含关系识别模型复杂,难于训练;(2)自然语言推理方法不能有效地结合知识;(3)蕴含知识的挖掘不能同时兼顾覆盖率与准确率;(4)文本蕴含的生成不能有效保留重要信息,同时缺少客观的评价指标。本文针对已有方法在这三个基本研究任务中存在的四个问题展开,分别提出了四种模型,均在公开的数据集上取得了当时最高成绩。本文基本研究内容如下:1.基于高斯Transformer的文本蕴含识别研究:目前基于神经网络的文本蕴含识别模型大致可以分为三类:循环网络模型、卷积网络模型和自注意力网络模型。尽管取得了不错的准确率,但是循环网络模型难以并行处理句子中的单词,拖慢了训练速度;卷积网络模型耗费参数较多;而自注意力网络模型弱于捕获文本的局部信息。为了解决这些问题,本文在Transformer的基础上提出了一种高效的无循环或卷积的模型,称为高斯Transformer。实验结果表明本文提出的方法在公开评测集上取得了当前最好的成绩。2.基于知识图谱的文本蕴含识别研究:对人类而言,知识在推理中扮演了重要角色,但是前人工作对知识的利用涉及的较少,尽管在标准的自然语言推理评测中取得了不错的成绩,但是当应用到诸如医疗等知识密集型领域时,就会捉襟见肘。为了填补这一知识空白,本文提出了一种基于知识图谱的推理模型(EBIM),利用知识图谱中的相关路径作为推理证据提升文本蕴含识别性能。在自然科学问答评测语料(Sci Tail)上,EBIM方法优于其他借助外部知识库的方法;在医疗自然语言推理评测集(Med NLI)上,EBIM方法取得了当前最好成绩。3.基于深度语境网络的谓词型文本蕴含推理规则挖掘研究:蕴含知识往往以推理规则的形式存在。前人利用诸如分布假设和隐含迪利克雷分布等统计方法来抽取谓词型推理规则。但是这些研究无法较好地平衡所挖掘的推理知识的覆盖率和准确率,从而下游任务带来许多不确定性。为了解决这一问题,本文提出了一种新的模型,即深度语境网络。它能够同时捕获统计信息和语义信息,进而更好地建模谓词的语境。在公开数据集上的实验表明本文的方法同时在覆盖率和准确率上优于现有方法。4.基于残差长短时记忆网络的文本蕴含后件生成研究:当前序列到序列的文本蕴含生成方法常常遗忘原句的有效信息,难以处理较复杂的蕴含前件。此外,文本蕴含后件生成任务目前缺少一个合理的评价指标,当前指标不能适应文本蕴含现象的多样性,阻碍了这一领域的发展。针对这两个问题,本文首先提出了一种基于残差长短时记忆网络的文本蕴含后件生成模型,然后为该任务提出了一种称为EBR的评价指标。实验表明,本文所提出的模型取得了当前最好的性能;并且EBR评价指标克服了现有指标的不足,显示了与人工评价的高度一致性。