基于深度学习的机器阅读理解研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:xiaohuzhao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自然语言理解能力是人类认知的关键能力和获取知识的前提,而让机器学会理解人类语言或文字也是人工智能领域的困难和挑战。机器阅读理解是自然语言处理领域的重要分支,也是问答系统的一个子方向,意义在于使机器理解文本语义并具备推理能力。机器阅读理解的主要流程是输入给定文本和对应的问题,理解上下文语义并推理输出匹配答案。相对于问答系统,不依赖于外部知识库系统,而是从小范围寻找语句之间的联系。传统的自然语言处理技术就是希望机器能够拥有像人一样捕捉到文本中的词义、词性、命名实体的基本能力,并且能对句法进行解析和指代进行消解。这些任务比较简单,不需要复杂的语义理解和推理,通过常用的机器学习或统计学习方法就能做得较好。进一步地,我们希望机器能够理解完整的文章或段落,联系上下文或额外的知识库进行分析和思考,并做出反馈。这要求在更复杂的场景中,抽取更高层次、更细粒度的文本特征。神经机器阅读理解就是当前机器阅读理解发展的一个新阶段,即使用神经网络模型相比传统的基于特征的分类器更适合识别词法匹配和释义。近年来性能较好的端到端深度学习模型成为主流模型,所有参数通过优化得到,不依赖任何下游语言特征,免除了构建大量人工特征的工作,具有一定的抗干扰能力。本文根据主流阅读理解框架设计了一个基于深度学习的机器阅读理解模型,可用于解决“片段抽取”类型阅读理解问题。针对之前主流模型BERT在“嵌入编码”时存在的设计缺陷,提出了邻接分词随机遮掩优化。同时由于中英文语言差异,配合中文分词工具在“嵌入编码”中引入了中文训练样本生成策略优化,提升了模型在中文数据集下的性能表现。另外本文基于片段抽取阅读理解任务的特点,修改了训练损失函数,引入边界辅助目标函数,提升模型在片段抽取任务下的性能。我们在典型中英文片段抽取式数据集上进行了实验,通过对比本文设计的模型与近年来主流模型如BERT、R-NET、BiDAF和Match-LSTM的测试结果,验证了实验设计模型的可行性和优化点的有效性。实验模型在中文百科数据集CMRC 2018测试集上的最好结果达到了70.5(EM)和87.4(F1),而在英文典型片段抽取任务数据集SQuAD 2.0测试集上达到了84.6(EM)和87.1(F1)。另外,本文基于深度学习机器阅读理解模型,对深度学习模型的“黑盒模型”进行了一定的探索,旨在提供模型可解释性。我们通过权重可视化解释模型中涉及的注意力机制的观察模式,指出了模型不同层次中存在的六种较为明显的注意力行为模式。另外,我们统计不同类型问题的准确率从宏观角度总结和分析当前NLP模型所学到的关键抽象理解能力。
其他文献
<正>新一轮个人所得税改革的一大亮点——专项附加扣除政策近日终于揭开面纱。2018年12月22日,备受关注的《个人所得税专项附加扣除暂行办法》(以下简称《暂行办法》)正式亮
2017年教育部颁布了《普通高中数学课程标准》,六大核心素养被正式提出,这对于数学教育来说有着重要的作用,它将指引着高中数学课堂的教育教学活动。而作为六大核心素养之一
由于传媒市场竞争的日趋激烈,再加上受网络新闻过度娱乐化的影响,当前电视新闻报道中的娱乐化有越演越烈之势。本文对此现象进行了反思,认为电视新闻报道的过度娱乐化,会导致
"保税",包括保税物流与保税加工,是我国海关监管特殊区域与行业。目前,保税业务处于发展的黄金阶段。为支持保税业务的发展,近年来,各类海关保税监管区域屡屡获批,保税体系不
舞蹈是以人体动作为基础,按照音乐节奏有连续运动的能够塑造形象的艺术。舞蹈与大多数艺术不同,它是全民皆可参与的运动,不仅能够达到锻炼身体的目的,同时也能够让人们养成美
校园贷是近年来出现的新兴校园金融产品,发展十分迅速。校园贷的不规范发展,造成"裸条"、"跳楼自杀"等严重的社会问题。校园贷的运行机制为:贷前以"名义低利实质高利"吸引学
孟子的性善论对中国思想史产生了重要的影响,虽然从孟子的论说文中可以看出他是一个长于论辩的人,但本文将对孟子在论述自己的思想过程中出现的逻辑缺陷进行相关的探索和研究
针对直接利用空间数据操作引擎将CAD注记数据转换成ArcGIS数据与原CAD图文字注记数据存在一定差异的问题,提出了一种新的转换注记方法。利用Arc Map提取CAD原图注记层数据,较
一 课题的提出 我们的研究课题于1978年提出,提出的缘由如下述: 1.刚粉碎“四人帮”之后,吕叔湘先生针对“文革”中语文教学的荒芜局面和建国以来语文课长期存在的“少、慢
甘草和人参都属于大宗类药材,应用十分广泛。本论文建立了甘草和人参不定根系,采用添加非生物和生物诱导子的方法,对培养物中甘草酸和人参皂苷进行代谢调控及机理研究,显著提