论文部分内容阅读
AI正在多个领域中掀起着变革热潮,其中自然语言处理要求人工智能对人类语言的处理、理解和运用,可是说是真正意义上的“人工智能”,因此对AI来说有着意义重大。而机器阅读理解则是实现语言智能的关键一步,其主要涉及到深度学习、自然语言处理和信息检索等领域知识,能够让计算机帮助人类在大量文本中找到想要的答案,从而减轻人们对信息的获取的成本。本文对机器阅读理解模型中的关键问题从三个方面进行研究:考察现有模型的建模能力、深度学习模型中融入外部知识以及深度学习模型自身框架在attention上的的改进和对面向大规模的中文Du Reader数据集上的阅读理解系统从答案预筛选和模型优化两方面进行了改进。本文的主要研究内容为以下几个方面:第一,对机器阅读理解深度学习模型进行了分析和对比。从进行答案句筛选和答案片段筛选的阅读理解模型中,我们分别挑选了基于attention的QA-LSTM模型和Bi DAF模型,对两个模型的架构及attention机制进行了详细介绍,然后对两个模型从多个方面进行了对比。最后在实验中对两个模型的性能进行评估与对比。第二,对机器阅读理解深度学习模型从两方面进行改进。一方面是深度学习模型中引入先验知识。首先调研梳理了词法、句法、语义等层面的语言学知识;其次探究了在深度学习框架下各种先验知识以不同形式在网络架构下的各个网络层下的引入方式。我们在各级别语言学知识中挑选出具有代表性的知识,进行先验知识引入深度神经网络的实验。另一方面是对深度学习模型中的attention粒度进行了探讨。我们尝试在Bi DAF基模型中引入了三种问题到篇章的句子级别的更粗粒度的attention,并通过实验进行了综合分析。第三,基于中文阅读理解数据集Du Reader,对阅读理解系统从答案预筛选和模型两方面进行了改进,其中答案预筛选包含两部分内容,即答案段落筛选和答案片段定位。对答案预筛选的改进,我们采用了全局筛选策略及基于逻辑回归模型的筛选策略。模型方面,我们在Bi DAF基模型中加入了selfattention机制,并将训练目标修改为共享归一形式。最终我们在BLEU-4取得了6.25个点的提升,ROUGE-L上4.79个点的提升。