基于深度学习的多跳阅读理解研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:ufs6756dude
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
作为自然语言处理中的一项重要任务,机器阅读理解(Machine Reading Comprehension,MRC)已经受到了业界内广泛的关注,大量研究人员正积极探索这一新兴领域。其具体指的是让机器依据给定的文本信息来回答一个语义相关的问题,通常这是一个较复杂和漫长的流程,涉及到语义编码、信息融合、模块交互等众多方面。而多跳MRC则在此基础上提出了更高的要求,要求机器具备推理能力,本文就此任务展开研究。多跳MRC的任务类型分为多种,本文主要聚焦于多选式任务。我们在对领域研究现状进行总结和分析的同时,发现分层记忆网络可以通过迭代来逐步编码文本的深层语义,同时其也可以接收来多方的输入。受此启发,我们设计了一个基于记忆网络的推理模型,即SMR。SMR可以充分利用任务提供的多种文本,循环使用记忆网络构建推理路径。考虑到路径的序列特点,SMR采用一个带有注意力机制的迭代LSTM网络逐一节点的评估和集成推理结果,最终完成答案的预测。另外,我们也了解到Transformer模型在协调多方语境方面的优势,特别是针对多跳MRC这种提供问题、文档等多方文本的情况,其可以很好的接收各方输入,用于后续信息处理。而其编码-解码式的运作机制也很适合展开动态推理,一方面编码结构可以通过连续编码语义来应对不断变化的外部环境,另一方面解码结构可以基于编码的结果解码出任务相关的重要信息,并构造一条逻辑路径。基于此,我们在改进Transformer动态框架的基础上,提出了一个循环推理模型,即SCR。同样的,SCR最终也是通过路径评估的方式来预测答案。我们上述提出的两个模型中,都离不开一个推理基点:句子。我们通过观察和记录人类的推理过程发现,人类在进行多跳推理时,第一步通常是寻找问题中的关键词,然后在关键词的基础上进行信息跳跃。而跳跃的单位主要就是句子,即寻找一个包含该关键词的句子,如果符合认知逻辑,则完成一次推理,否则继续寻找。最终,人类可以通过这样一个反复的过程来解决多跳任务。受此启发,我们在设计模型时充分考虑到了句子在推理中的重要作用,把句子作为关键信息的载体,在句子层级实施信息跳跃,构建基于句子的路径。而为了锲和人类处理多跳问题的第一步,我们提出的方法采用相似的方式,即抽取问题关键词来启动推理。故而,我们上述的两个分别基于分层记忆网络和动态框架的方法也可被叫做句子推理模型。进一步的,受到业界在GNN方面研究的启发,我们认识到,图的节点可以作为推理基点,而图的连边可以搭建信息间的联系以及进行信息传输。同时,之前的工作已经显示,实体、句子、候选都可作为图节点,并可以达到较好的效果。结合上述,我们构建了一个拥有实体、句子和候选三种节点的图,提出一个基于图推理的多跳模型,即SECr。和前两个模型不同,SECr没有路径评估阶段,而是通过信息传递算法直接把推理结果凝聚在一个节点上,最终通过对节点的评估来预测答案。综上,我们在本文对多跳MRC任务的研究意义、发展现状、相关技术等进行了详细的阐述,并针对多跳MRC任务提出了三个新颖的模型。在真实数据集上的评测结果显示,其效果相较于以前的方法均获得了显著的提升,从而验证了模型推理的有效性。另外,我们也通过大量的分析来演示推理过程和检验各子模块的贡献度。
其他文献
随着人工智能和计算机视觉领域的快速发展,深度学习作为人工智能下的子学科在视觉分析任务中占据了重要位置。深度学习用包含大量神经元的神经网络来提取图像中有用的特征进行信息分析。利用深度学习的方法来进行图像分析已经形成了较为规范的分析框架,包括对网络模型的训练,学习输入到输出的关系映射,从而对未知的输入进行模式预测。该框架具有很强的通用性,通过较少的调整就能解决很多图像上类似的问题。医学是一个数据急剧增
学位
当前,随着数据以指数形式增长,大量的信息蕴含在其中,如何有效地利用其中的有用信息,从海量文本数据中自动的抽取出有用的信息,更为具体地,如何从文本中抽取出潜在的语义关系元组则成为了关键的问题。关系元组抽取任务就是为了专门研究和解决这一问题而提出的。根据预先定义的关系的种类数目的不同,关系元组抽取任务可以分为单关系元组抽取和多关系元组抽取。在单关系元组抽取任务中,本文以情感原因对的提取为例,针对现有模
学位
唇读,旨在通过说话者嘴唇及其周围区域的视觉信息,解码其所说文本内容,是计算机视觉领域的一个重要问题,在公共安防、健康医疗、军事情报等领域有着广泛的应用价值。近年来,深度学习技术的兴起、大规模唇读数据集的构建和计算机算力的提升极大推动了唇读研究进展,取得里程碑式的突破。本课题围绕唇部运动规律和深度网络结构特点,对基于深度学习的唇读方法进行探索研究,分别对当前主流唇读方法的特征提取前端网络和序列建模后
学位
电动舵传动系统是装备中用于高精度、高响应控制运行轨迹的关键设备系统。舰船电动舵传动系统的传动机构受盐碱环境腐蚀,其轴承等关键零部件出现的故障将对装备安全可靠服役产生重大影响。本文以电动舵传动系统为背景,重点研究低速往复运动的模拟实验台设计及滚动轴承智能故障诊断算法。文章首先提出了针对一维振动信号的多尺度卷积神经网络智能诊断模型,利用西储大学的轴承数据集验证了其优秀性能,并基于某型电动舵传动系统工作
学位
为了更加直观和清晰地观察患者体内正常和病变组织(即肿瘤),医师通常需要借助医学影像的辅助,为患者临床诊断和制定针对性的手术方案提供科学依据和必要准备。医生在进行手术之前,可以借助医学影像分割技术,从患者的影像学资料中,得到人体的器官与病变组织分割结果。分割技术能够增加医生对肿瘤病变情况的了解程度,同时帮助医生在完全切除肿瘤病变区域的前提下,尽量保护肿瘤周围的血管、神经等正常组织,并以此增加手术的成
学位
文学作品能够引发读者对于人性真、善、美的思考,因而具有独特的育人价值。本文聚焦英文小说类语篇,结合教学实例探讨如何挖掘小说类语篇的育人价值。在教学设计和实施中,教师可将育人与小说类语篇的文体特征及语言特点相结合,引导学生在探究语篇主题意义的过程中,辨析矛盾冲突,剖析人物心理和探析故事结局,学会认识和分析人性真、善、美及人与人之间关系的一些基本问题,从而促进思维的发展,达到育人目的。
期刊
当前,计算机相关技术在医学领域扮演了越来越重要的角色。而医学图像作为医学诊断中重要的组成部分,对于病患的病情判定,疾病的严重程度评估,以及康复预测等方面,都具有极其重要的意义。医学图像分割可以快速且准确的将医学图像中的病患区域和背景区域分割开,对于临床治疗和医学研究都有很好的辅助作用。深度学习的兴起大大提高了医疗图像分割的准确度,同时可以提取出医生很难定性定量的病理特征,甚至探究尚未发现的医学原理
学位
吸烟有害健康,在公共场所吸烟,不仅污染空气,还有着造成火灾等灾害的隐患。对于一些严禁吸烟的场所,如机场、加油站、化工仓库等,需要采取监督和检测手段监视吸烟行为。通过人工监管或者烟雾传感器等手段检测,不仅耗费人力物力,检测效果也不甚理想。为解决吸烟检测问题,本文设计了基于机器视觉的吸烟检测算法,通过摄像头捕捉视频帧,使用基于深度学习的目标检测算法检测吸烟行为。本文创新工作如下:首先,针对实时性检测问
学位
图像作为信息最直观的表达,应用广泛。随着前端数据采集传感器的发展,单源信息已不能满足日益复杂的需求。不同源图像具备不同特性,红外图像物体轮廓清晰、包含热度信息,但像素值低、细节缺乏;可见光图像与之相反。一个自然的想法,将这二者融合可获得更有价值的图像。另外,由于光学传感器成像原理的限制,单镜头无法保证画幅全对焦,将同视角下通过调整焦距获得不同景深目标的局部清晰图像对进行融合,以获得整体清晰的图像。
学位
近年来,目标检测算法发展十分迅速,成果也非常显著,基于深度学习的检测算法更有着远超传统算法的性能。但是,该领域的发展仍然存在着一些问题和挑战。首先是在特定检测应用场景,比如人头检测中的虚警和漏检问题,限制了其在一些对计数准确度要求比较高的情况下的应用;其次,由于全监督下基于深度学习的检测算法一般需要大量的标签才能够训练出一个比较好的模型,为降低大量标注所带来的人力和物力上的消耗,出现了半监督和弱监
学位