基于课程学习的机器阅读理解方法研究

来源 :江西师范大学 | 被引量 : 0次 | 上传用户:xinghun124
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器阅读理解是自然语言处理领域的重要课题之一,在智能问答、对话生成、文本摘要等领域都涉及机器阅读理解技术。目前,机器阅读理解模型的训练一般使用随机采样的方式,未考虑样例句子的顺序组织对模型的影响。在机器阅读理解任务中,训练样例难度可能不相同,比如有些例子可以通过简单的词汇检索解决,而另一些需要复杂的语义推理。那么难度不一样的样例在训练的时候,它们的权重应该有所区别。为了解决这个问题,有研究者把课程学习(Curriculum Learning,简称CL)的思想引入到机器阅读理解任务中。课程学习是把样例按从简单到复杂进行排序,然后在训练的时候以某种顺序呈现给模型。在使用课程学习建模时需要考虑如何定义样本的难度,并基于难度进行样例选择。但是,据我所知,目前基于课程学习的机器阅读理解方法对于样例难度的定义一般是基于数据集,未充分考虑样例难度与模型之间的关联关系,从而导致课程学习中难度的定义高度依赖于数据集。基于此,本文使用交叉评审的方式构建难度评估方法,以此减少难度评估对数据集的依赖。但交叉评审的方式未充分考虑样例难度与模型之间的关联关系,于是本文进一步引入了项目反应理论(Item Response Theory,简称IRT)对样例难度与模型之间的关联关系进行建模。本文在RACE数据集上对基于课程学习和IRT方法的机器阅读理解模型进行了验证分析。实验结果表明,引入课程学习的思想可以提高机器阅读理解模型的准确率,同时在课程学习的基础上再结合IRT模型进一步提升了模型性能。实验结果表明IRT模型与课程学习的有效结合,能够有效提升机器阅读理解模型的性能。
其他文献
学位
学位
学位
学位
学位
上个世纪的八十年代初期,为了适应我国经济的发展并满足企业的需要,证券市场应运而生。随后到来的九十年代初期,上海证券交易所和深圳证券交易所分别建立,越来越多的公司开始挂牌上市,我国证券市场逐渐参考发达国家的证券市场模式,在这一时期证券市场飞速向前迈进。进入到二十世纪,随着中国经济高速腾飞、对外开放进一步加强,我国证券市场也在结合国情与国际经验的同时,不断深化改革维持稳步发展。然而在证券市场高速发展的
慢性病患者相对于其他疾病患者有所不同,在生理层面上,慢性病往往难以根除且会伴随终身,常有一人多病的情况出现,有些患者甚至会有强烈的疼痛感,甚至无法正常行动,如得不到有效的自我管理,甚至会危害生命健康,极大地影响患者的正常生活。在心理层面上,慢性病由于长期困扰患者,且反复不定,情形严重时会使患者心理产生强烈恐惧感。以肝硬化为例,多数人认为是肝癌的前兆,导致多数患者当得知自己的患上肝硬化时,心里就会发
量子度量学在量子信息与量子光学领域发挥着重要的作用。近年来,人们相继提出了利用光子扣除和光子增加这两种非高斯操作来提高相位估计的精度,这是由于非高斯操作能够用来提高量子态的非经典性。在这个优势的驱动下,本论文基于两种非高斯操作(多光子催化操作和粒子数守恒叠加操作)提出了提高相位测量灵敏度的新方案。利用量子Fisher信息以及宇称探测的方案全面分析了提高相位测量精度的条件,同时比较了不同非高斯操作(
学位
审计项目审理是指审计机关审理部门对审计报告、审计决定书等项目资料进行审理的过程,是审计实施的法定程序。网上审理是指依托网上审理系统对审计过程中不同环节上传的项目资料电子件进行审理,有利于对审计项目质量进行全过程控制,防范审计质量风险,促进及时整改审计过程中存在的规范性问题,是审计质量管理的有效途径,也是推进审计全流程信息化的必然要求。省审计厅网上审理系统依托OA平台建设,运用SQL Server数