机器阅读理解中的多任务学习算法研究

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:zswf031124
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器阅读理解在自然语言处理领域中是一个很重要的研究方向,对于实现人机交互是一个极为关键的技术。而机器阅读理解由于其复杂性,一直都是评价机器自然语言理解的一个重要方面。同时由于时代的快速发展,各种文本信息不断积累,如何能利用这些文本资源,从而使问答过程更加符合实际,也是一个具有现实应用价值的课题。在实际的问答系统中,要做到全领域的问答,需要涉及到大量的知识信息,而要收集这些知识信息更是需要长年累月的积累,机器阅读理解和人类阅读理解面临的问题都是相似的,但是现实中为了降低任务难度,目前研究的很多机器阅读理解数据集都有一定的局限性,数据样本都比较少。在目标领域没有足够的训练数据的情况下,如何利用域外的数据来增强模型效果,即采用多任务学习的方法来增强主要任务的模型表现性能十分关键。因此机器阅读理解中的多任务学习方法的研究十分重要。近些年来,伴随着深度学习的发展,机器阅读理解技术不断迎来新的突破。本文研究了片段抽取型机器阅读理解任务中难点,并提出使用机器阅读理解模型和多任务学习结合的方法来解决这个问题。本文的主要工作与贡献包括:第一,在泛领域的机器阅读理解的任务中,提出基于经典的机器阅读理解模型和软约束的多任务学习结合的方法。该模型使用一个多层级上下文不同粒度的表征编码器进行文本表征,注意力机制负责连接和融合上下文和问题词中的信息,通过高速网络机制对每个训练样本施加不同的权重实现软参数共享,针对不同任务的数据集,制定不同的答案层。通过在多个公共数据集上进行实验,实验结果表明本文提出的模型在泛领域的机器阅读理解任务中表现优于传统模型。第二,在单一领域的机器阅读理解的任务中,提出基于预训练语言模型和硬约束的多任务学习结合的方法。该模型利用预训练设计好的网络结构来做语言模型任务,将大量无标注的文本利用起来,进而将大量语言学知识抽取出来编码到网络结构中,使用硬约束的方法使得多个任务共享这些网络参数,并且针对不同任务的数据集,制定不同的答案层。通过在多个数据集进行实验,实验结果表明本文提出的模型在单一领域中有更好的表现。
其他文献
1931-1932年法国的排外运动,是法国遭遇1929年经济危机冲击后的社会反应,是一场民族主义为主、种族主义和反犹主义为辅的运动。它以外国工人和在紧俏就业市场中共同竞争的外国人为主要排斥对象,以中右翼媒介为主要的宣传媒体,以行业工会和政治组织为主要推动者和游说力量,最后以政府出台排外法案为运动的最终结果。本文主要分为三个方面,分别从排外运动的背景与事实、外国人在法国社会中的形象和外国人自身的回应
论我国科技进步中的法制建设上海大学方明伦,陶鑫良,曹昌祯,陈剑平党的十五大确立了“依法治国,建设社会主义法治国家”的方略。科技进步中的法制建设,是我们贯彻十五大精神的重要
随着经济和科技的发展,人们生活水平及关注重心发生改变,使得西方社会由一开始的生产型社会转变成消费型社会,逐渐地扩大消费在人们生活中的占比。鲍德里亚关注到这种社会现
电子商务将逐渐成为数字经济时代的商务活动主要形式,本文主要介绍在美国NSF赞助下,由美国德州大学电子商务研究中心主办的“电子商务优先研究领域”研计会的主要内容,该研坟会
为适应国民经济发展和社会进步的要求,面对客运市场的激烈竞争,铁路运输部门投入了大量新型空调客车参与运营,而空调旅客列车内的环境应达到温度适宜、空气清洁的卫生要求.
随着社会的发展,人们观念的更新,教育领域改革在与时俱进,并不断得到深入发展,我们的教育内涵更加丰富。在素质教育的教学理念目标下,为提高课堂教学质量.许多学校明确地提出了“向
2015年6月26日美国联邦最高法院宣告同性婚姻合法。这其实是一系列有关禁止或允许同性婚姻的斗争的结果。不仅宗教团体、同性恋者、民权组织、利益集团都参与到争论的过程,联
随着微信的广泛使用,食品安全领域已成为谣言的重灾区。作为民众最关心的话题,食品安全与每个人的切身利益息息相关。最近几年,食品安全谣言的传播为微信用户的日常生活造成
本文从“目的-手段”、“对立-统一”及“供给-需求”等方面,提示了机械工业与国民经济间的相互作用关系,构造了机械工业与国民经济间相互作用机理流图,建立了机械工业与国民经济的
我国混凝土结构设计规范GBJ10-89规定,受弯构件和偏心受压构件界限破坏的条件均为δ=δb。在设计双筋受弯构件和大偏心受压构件时,为节约钢筋,均取δ=δb。本文对它的弊端进行讨