让机器理解人类自然语言是人工智能领域一个长期的目标,其中如何衡量机器是否理解自然语言本身也是一个难题。作为智能问答的子任务,机器阅读理解是指给定一段非结构化文本和相应的问题,机器阅读文本后给出问题答案。因为机器解题过程中需要隐式完成很多自然语言处理中的底层任务才能给出正确答案,所以机器阅读理解任务非常适合用来评估机器对于自然语言的理解能力。无论在学术研究还是在实际应用中,机器阅读理解都有着重大的价值与意义。神经网络是目前机器阅读理解领域的主流方法,在很多基准任务上已经超越人类的水平。神经网络阅读理解模型虽然取得了不错的性能,但其端到端的训练方式导致了预测机制的不透明,依然存在一些问题未解决。其中部分问题具体表现为:1)在抽取式阅读理解任务中,不断删除问题中的词直到问题信息不充分时,模型依然能够预测正确答案,这一模型过稳定问题并不符合人类的直觉;2)在离散推理阅读理解任务中,当前主流数据集只给出最终答案,并未提供中间解题过程,导致了在计算类问题上模型预测公式的正确程度难以评估,同时在计数、排序等类型问题上模型预测机制不透明,难以判断模型是否真正通过计数、排序之类的符号推理能力预测答案。针对上述问题,本文对神经网络阅读理解模型的预测机制展开了初步探究,主要工作如下:●针对抽取式阅读理解任务中模型存在的过稳定问题,本文尝试从数据角度进行探究。首先提出了一种简单有效的指标衡量模型过稳定性程度,并基于提出的指标验证了该问题在抽取式神经网络阅读理解模型中普遍存在。接着通过加入与原问题字面相似但不可回答的问题一起训练,使得模型过稳定问题得到缓解,并且在对抗样本场景下鲁棒性更强。此外,本文还探究了问题长度、问题类型与模型过稳定问题的相关性。●针对离散推理阅读理解任务中模型在计算类问题上预测公式的正确程度难以评估以及计数、排序等类型问题上预测机制不透明等问题,本文基于当前主流数据集进行细粒度的标注,并通过标注数据对离散推理模型预测机制进行了初步探究,从标注数据中提取出正确的解题公式评估现有模型在计算类问题上预测公式的正确程度。同时,因为标注的数据包含详细的解题过程,也可以提供额外的监督信息帮助研究人员后续在计数、排序等类型问题上训练预测机制更加透明的神经网络模型。●为了提高离散推理阅读理解细粒度标注任务中标注人员的标注效率,标准化标注流程,减少标注错误,本文还设计并实现了一个标注系统。该系统主要包含账户注册、账户登录登出、待标注数据上传、待标注数据分配、已标注数据下载、数据标注、数据统计等功能,为标注人员提供了方便。