基于图卷积神经网络的多步推理机器阅读理解模型研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:xiwang1998
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来关于机器阅读理解(Machine Reading Comprehension,MRC)的研究持续火热,机器阅读理解任务可以看做是基于文本的问答系统,给定一段上下文和问题,机器得出答案。MRC任务衡量了机器理解人类自然语言的能力,并且在实际生活中具有很高的应用价值。多步推理机器阅读理解相比传统专注单篇文章的阅读理解方法,更加强调机器的推理能力,旨在要求系统结合多篇文档的多个推理事实进行推测,进而得出最终答案。我们提出了一种有效的基于图卷积神经网络的多步推理机器阅读理解方法,在对上下文进行文本特征提取后,截取实体并Self-Attention,实体索引由字符串匹配得到,通过这种方式得到答案在文本中的实体表示,每个实体能够充分融合上下文和实体内部字符的的信息。在利用图卷积神经网络进行多步推理时,针对不同类型的数据集设计了两种图的构建规则,在wikihop中构建了单一实体图,在Hotpot QA中构建了包含实体和句子两种节点类型的异构图,以此加强实体和句子的交互,体现了支持句对答案预测的强监督作用。为了结合问题信息,将经过图卷积神经网络信息融合后的图节点表示与问题表示进行Co-Attention,生成问题感知的实体节点,从而体现了问题对模型预测的指导作用。此外,为了将Hotpot QA数据的片段抽取任务转换成文本分类任务,我们设计了一种基于单答案阅读理解模型的多答案候选生成模块,再利用Bert分类任务生成支持句候选。实验表明,基于图卷积神经网络的多步推理机器阅读理解模型方法在未掩码版本的wikihop数据集和Hotpot QA数据集的支持句任务中取得优势。由分析可知,问题与实体的互注意力,支持句与答案的交互均对模型效果有显著影响。
其他文献
随着智能交通领域兴起,交通标志识别作为其关键技术,发展同样迅速。但传统的交通标志识别需借助大量监督数据,而监督数据获得困难,并且传统的识别方法需要在高成本的重新训练下才能对新的交通标志进行识别,无法适配地区性交通标志差异和满足今后的需求。事实上,交通标志具有原型图像,在此基础上我们利用小样本学习的方法来解决上述难题。而目前的变分原型编码器(VPE),利用小样本学习与编码器结合将真实图像和原型图像诱
学位
在传统的建筑行业中,若要绘制建筑模型,大多会采用CAD(Computer Aided Design,计算机辅助设计)进行制图,尽管能够通过一些电子设备提高绘制的效率,但是仍需要耗费巨大的人力。随着科技以及数字化技术的蓬勃发展,BIM(Building Information Modeling,建筑信息模型)渐渐被人们所关注,并受到了广大建筑行业人员的青睐,是建筑行业发展的新趋势,在Web端针对BI
学位
网络时代的到来,智能手机的发展,加上流量资费的不断降低,使得基于IP网络的语音通话迅速发展起来,各种语音通话的框架更是层出不穷。但由于这种语音通话基于IP网络,而网络传输情况复杂且存在很多不可控因素,这就意味着语音数据在网络传输时的安全无法得到保障,比如可能出现被第三方监听截取的风险,所以当人们的交流涉及一些个人隐私或者需要保密的信息时,语音通话不再成为人们的选择。因为安全问题,语音通话的发展受到
学位
随着互联网技术的高速发展,网络已成为人们沟通交流、获取信息的主要通道。而网络上的信息多以短文本的形式展现,如何快速有效地提取短文本中的信息,是一个非常有价值的课题。传统的短文本分类方法不仅过度依赖于情感词典的构建,而且需要耗费大量的人工成本进行特征提取。通过对这些问题进行分析,利用短文本的特点,设计了基于LSTM-TextCNN的短文本情感分类模型对传统分类方法作出改进。在课题研究过程中,通过阅读
学位
随着电子计算机断层扫描、磁共振成像、正电子发射计算机断层扫描等医学成像技术的产生与发展,医学成像领域的科研工作者和医务人员可以通过医疗设备获取连续的二维切片断层数据。但是根据这些二维的图像数据,科研工作者和医务人员很难建立生物及其内部器官的三维立体结构,不利于科研工作者进行科学研究、医务人员进行医学诊断。对二维的医学数据进行三维重建,重建出生物及其内部器官对应的三维表面轮廓,并将三维的轮廓模型进行
学位
随着互联网的发展,企业的业务规模越来越庞大,企业内服务器数量逐步增多,服务器上部署的应用种类和数量也随之增多,如何高效地、可靠地管理这些服务器与应用是企业要面对的一个重要问题。基于此问题,设计出一个整合多种业务需求的IT运维管理平台。通过在运维管理平台中进行操作,就可以实现对线上服务器和应用运行状态进行监控以及对应用进行快速发布部署等功能,极大地提升了IT运维人员的工作效率。本系统基于某中小型企业
学位
计算机技术的发展,带来新的产业格局转变。其中康复医疗行业通过积极拥抱互联网行业,迎来新的发展契机。例如,近些年,基于虚拟现实技术研发的各类康复游戏,在市场中不断涌现。然而,大部分游戏仅针对患者的一个部位进行康复训练,导致患者需要在多套系统之间切换,患者的训练行为难以追踪,游戏训练数据分布零散且内在价值难以被挖掘等问题。针对目前康复游戏在用户行为追踪和游戏数据管理两方面的痛点,该研究以一组康复游戏产
学位
当今时代,随着互联网的普及和多媒体的发展,图像有了广泛的应用,图像的传输需求越来越高,图像在传输中的安全也越来越重要,所以对图像加密方面的研究愈显重要。PNG是重要的图像格式,PNG图像广泛应用于网络、软件和手机上,所以研究PNG图像的加密将有重要的意义。在数据量巨大的今天,传统的加密技术对称加密和非对称加密,它们都存在着一定的缺陷,可能未加密文件关键属性,密钥密文相关性不高,在计算机技术发展的过
学位
随着医疗影像技术的不断发展,正电子发射断层成像机(PET)设备所需要处理的数据量越来越大,对数据处理及可视化系统的需求越来越强。市面上大部分的可视化系统是对于PET重建数据的二维切片成像,对于重建之前的阶段如采集、符合则需要分阶段处理,无法做到完整过程上的实现。因此对于PET设备来说越来越需要一套集采集、符合、重建、校正及可视化于一体的软件系统。针对PET设备的软件需求,对PET的浓度数据及现有的
学位
文本匹配是自然语言处理领域基础任务之一,实现时往往需要较为复杂的文本交互的过程。论文针对这个实际问题,并结合文本匹配具体的任务场景,设计了一个基于BERT(Bidirectional Encoder Representation from Transformers)预训练模型和图神经网络模型混合的文本匹配算法,该算法可以简化复杂的文本交互的过程,达到一个较好的文本匹配的结果。论文借鉴了Senten
学位