论文部分内容阅读
机器阅读理解作为自然语言处理问答方向的一个新的研究领域,已经成为学术界和产业界的关注热点。它的研究目标是让机器能够阅读并且正确的理解自然语言文本,然后回答给定的问题。机器阅读理解任务的研究具有重要的意义和价值:一方面,阅读理解任务可以用来评估计算机理解自然语言的程度,阅读理解能够促进自然语言理解技术的发展;另一方面,机器阅读理解是未来问答系统发展所需的关键技术之一。得益于计算机计算能力和存储能力的显著提高,以及深度学习方法本身所具有的强大的文本特征提取能力,基于端到端的机器阅读理解模型研究近年来取得了巨大的进步。机器阅读理解任务需要充分理解文本和问题的语义信息,通常采用分层的网络模型架构,从而在不同的文本特征层面提取信息。机器阅读理解模型架构通常由表示层、编码层、交互层、输出层组成,而表示层和交互层是模型最重要的组成部分。本文对现有的机器阅读理解模型的表示层和交互层进行改进,以提高模型的准确率和训练效率。主要研究工作如下:(1)研究并复现了机器阅读理解任务上具有代表性的R-NET模型,将其作为后续改进模型的基准。实验结果表明,本文复现的模型能达到论文中的模型效果。(2)在模型的表示层,本文对传统的词向量表示方法进行改进。传统的词向量是上下文无关的,词法和语义信息匮乏。为了丰富词语的语义表示,本文在表示层额外加入由语言模型预训练得到的词向量和基于词级别的注意力向量。实验结果表明,表示层的改进方法提高了模型的准确率。(3)在模型的交互层,本文使用分层的注意力和聚合机制对文本编码进行改进。传统的模型交互层结构简单,导致文本和问题的关联性较弱,模型的理解能力较差。为了抽取更细粒度的文本特征,本文首先将两种双向注意力模型编码后的结果进行融合,然后将低层次的特征向量聚合到当前的向量表示中。最后,使用自注意力模型进一步增强文本的特征表示。实验结果表明,本文在交互层的改进可以提高模型的语义理解能力。(4)最后,结合表示层和交互层的改进方法构建本文的机器阅读理解模型,并和公开的模型作对比。实验结果表明,本文的模型效果要高于传统的机器阅读理解模型。