作为自然语言处理中的一个非常重要的研究方向,机器阅读理解及问答技术在现实场景中具有极其广阔的应用,包括且不限于推荐系统、搜索引擎,以及对话机器人等。早期的方法主要依靠TF-IDF和BM25等传统信息检索技术,仅能从文档中找到相关的片段,无法做出准确的回答。随着深度学习技术的迅速发展,使用大量标注数据进行训练的,基于神经网络的方法在一系列基准测试上取得了优秀的成绩。然而,在现实场景中,数据标注通常需要大量的人力资源,某些领域甚至需要专家的协助,导致真实可用的数据往往较少,训练好的模型也容易出现因过拟合导致的泛化性下降。在这一背景下,近年来,许多研究者开始探索自监督训练,即从无标注的数据中自动化地挖掘监督信号,以对神经网络进行训练,从而免去昂贵且复杂的手工标注过程。此后,以语言建模为自监督训练目标的预训练方法,也因其强大的泛化性而逐渐成为自然语言处理领域的主流和标配。尽管如此,将自监督训练技术应用于机器阅读理解仍是一个巨大的挑战。一方面,机器阅读理解任务往往需要多种能力以适应不同的场景。例如,开放域或长文本问答场景强烈依赖模型的证据抽取能力;此外,在某些特殊领域,如法律和金融,严密的逻辑推理或多跳推理能力是模型能否辅助人类理解文档并进行分析的关键。另一方面,不同于专注于面向通用语言理解的预训练方法,如语言建模或掩码语言建模,面向任务的预训练方法需要能够针对下游任务所需要的能力,制定针对性的预训练任务,或挖掘特定的监督信号。同时,为了避免过拟合的影响,预训练任务与下游任务的训练目标也应尽可能一致。为了解决以上问题,我们提出了两种全新的面向复杂阅读理解和机器推理的自监督预训练方法,一种用于增强问答系统在长文档中的证据抽取能力,另一种则通过对比学习提高模型面对复杂场景的逻辑推理能力。对于前者,我们引入了两个依赖证据抽取的自监督任务;同时,我们在模型中增加了一个检索式的证据抽取模块,以尽可能缩小上下游任务训练目标的差异。为了对该方法进行评估,我们在5个需要跨句证据抽取和推理的数据集上进行了大量的实验,证明了我们的方法的有效性。实验结果还表明我们的方法能够在没有显式监督的情况下,显著提升模型证据抽取的准确性。对于后者,我们利用元路径概念,挖掘了无标注文本中蕴含的实体间逻辑关系,以构建用于对比学习的训练样本;同时,我们还设计了一种基于反事实数据增强的方法,来进一步消除训练数据中的信息捷径。我们在两个公开数据集上对模型进行了评估,实验证明我们的方法取得了比现有方法更高的准确率,以及对标注数据更低的依赖性。