基于显式定位的机器阅读理解技术研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:slksm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器阅读理解是自然语言处理领域中一项十分重要的分支任务。该任务旨在让机器模仿人类的阅读理解能力,基于给定的背景文章来分析人们提出的问题并以自然语言的形式给出答案。近年来,随着深度学习技术与硬件技术的不断发展,人工智能的各个子领域都有了显著的进步。受益于各种深度学习网络的创新和大型问答数据集的出现,机器阅读理解领域的热度持续上升,同时也越来越具备挑战性。机器阅读理解领域发展至今,已逐步确立一套比较统一的算法框架,即“嵌入编码层—特征提取层—信息交互层—答案预测层”。该框架将文章与问题看做令牌序列,将其嵌入到计算机可处理的向量空间中,并根据后续的各种注意力机制进行信息交互,最终预测答案片段在文章中的位置。而在四层统一框架之外,近两年又出现了另一种基于预训练语言表征模型的“预训练—微调”算法框架。当前机器阅读理解模型存在的主要问题是:(1)基于传统四层框架的模型直接将文章和问题进行序列令牌化处理,导致模型推理过程中每个单词与符号的语义重要性过于平均化。然而位于相同句子和不同句子中的单词应当具有不同程度的关联度,因此现有方法会损失“句子”层次的语义信息,并会在文章中的无关内容上浪费部分计算资源。(2)基于“预训练—微调”模式的机器阅读理解算法存在的问题是,预训练语言模型的训练与调用对硬件的要求非常高,同时也因为整个框架中的语义处理过程完全封装在预训练模型中,导致其可解释性较弱。(3)当前机器阅读理解模型很少关注答案的可回答性,为了提高模型的阅读理解能力,训练模型对于无答案问题的判定能力是必要的。针对以上问题,本文提出了一种针对传统四层框架进行改进的基于显式定位的机器阅读理解模型,首先基于关键词的相似度信息显式定位到文章中与问题最相关的部分,再根据提取出的内容回答问题,形成了一种可解释性较高的模型。主要工作为:(1)我们首先根据研究需求对原始的斯坦福SQu AD1.1机器阅读理解数据集进行重新整理,生成两个新的数据集,即“文章—问题—答案所在句”和“相关内容—问题—答案”。(2)然后利用基于spacy的相关度算法,预测文章中与问题最相关的句子,并基于该中心句提取问题的相关内容。(3)在此基础上,根据提升了问题相关度的新背景文章,基于注意力机制进行语义分析进而回答问题。另外,本文提出了一种基于显式定位和单词位置信息的无答案问题检测模型,用于判定问题是否可根据背景文章进行回答,从而更进一步地提升了模型的阅读理解能力。主要工作为:(1)首先将原始的SQu AD2.0数据集整理成两部分,构建数据集时考虑原数据集中的无答案问题。(2)通过基于spacy的相关度算法定位到文章中与问题最相关的部分。(3)与基于显式定位的阅读理解模型不同的是,无答案问题判定模型将利用基于三角函数的位置信息进行深层次的语义分析,并对问题的可回答性进行判定。
其他文献
空时自适应处理技术(Space-Time Adaptive Processing,STAP)是新一代机载预警雷达的关键技术,有效提高了雷达的目标检测能力和抗干扰能力。STAP技术的发展运用给机载预警雷达传统对抗手段带来了巨大挑战。作为雷达对抗方,为了有效对抗新一代机载预警雷达,研究针对STAP的干扰方法具有十分重要的意义。本文在高效侦察体系保障的前提下展开基于投散射的STAP精确干扰技术研究,主要
学位
边界层转捩流动的准确预测是当前飞行器设计研制中亟待解决的关键问题。然而,传统方法受限于经验参数,难以满足复杂流动问题日益增长的转捩预测需求。本文基于WCNS高精度加权紧致非线性格式,利用机器学习算法重构了间歇因子与流场局部平均量间的映射模型,并与Spallart-Allmaras湍流模型耦合,在高精度软件平台上发展了一种快速、准确的数据驱动类代数转捩模型。本文首先探究了结合WCNS高精度格式的γ-
学位
大型预训练模型近年来成为了自然语言处理领域的主要模型,无论情感分析任务、机器翻译任务还是自然语言理解任务,在解决方案中都会引入大型预训练模型作为底层特征提取器。得益于复杂的模型结构以及大规模的预训练语料,大型预训练模型在文本的特征提取方面有着超常的优势,进而能在下游任务获得良好的表现。但对于中文标点恢复任务来说,大型预训练模型的表现还有提升的空间。为此,本文针对如何挖掘文本中的知识以提升标点恢复效
学位
本论文包括两部分工作。第一部分是利用数值微分方法确定大气边界层高度的研究,其中提出来了两种新的方法;第二部分是对于全球海洋边界层顶高度和青藏高原边界层顶高度的气候特征研究。在第一部分中,本文提出了两种确定边界层高度的新数值微分方法:双参数模型函数法和样条函数结合数值微分方法。两种方法都是基于COSMIC弯角数据,在数值微分方法中结合正则化技术,来求解弯角的垂直梯度廓线,将弯角垂直梯度廓线的最小梯度
学位
期刊
科学技术日新月异的飞速变革不断刷新企业的生产效率,日益缩短的产品生命周期在加速响应的同时亦加剧了产品的同质化。考虑到宣传成本和产品同质化严重等因素,当企业研发成功后想要推广一个新产品通常更倾向于使用品牌延伸策略。在大量相关研究中,契合度作为个体反映对契合的内在心理变量被认为是品牌延伸的核心概念。互联网技术的飞速变革带来了一个信息化的时代,从信息视角出发研究营销问题显然更符合现下时代特色,因此本文选
学位
企业家与企业之间天然的连接关系使得企业家的言行举止会对其相关联的企业品牌产生重要的影响。企业家是公众知名人物,他们的各类行为备受外界关注,那么当他们在日常生活或工作中被曝光了各种负面事件时,如何应对才能降低事件所带来的影响,维护自身及品牌与消费者之间的关系,这成为企业重点关心的问题。本研究旨在探索企业家在遭遇负面曝光事件后,选择何种应对策略才能减少消费者对企业家及企业的负面评估。与此同时,还将探究
学位
资本结构一直是现代企业财务决策中的重要内容,也是学术界研究的热门主题,因为企业的资本结构反映了企业经营活动的资金构成,合理的资本结构能够帮助企业实现价值最大化的目标。随着“三去一降一补”供给侧改革五大任务的提出和深入推进,资本结构调整研究的重要性不言而喻。由动态均衡理论可知,企业目标资本结构是一个变化值,实际资本结构往往会偏离最佳资本结构,企业会根据经营状况对资本结构进行调整,学者们以往多从企业特
学位
无线通信技术的蓬勃发展,从方方面面影响到了人民的生活,为人民的生活带来了各式各样的便利。然而,无线网络的广播性,使得网络遭受监听和攻击的可能性大大提高。网络的开放性,使得传统基于上层网络的复杂加密算法不能完美的适配,另外,超级计算机计算能力的大幅提升,更是给基于计算复杂度的加密算法带来了隐患,这都给无线网络的安全带来了新的挑战。为了解决上述问题,本文依托于内生安全网络的理念,构建了一套基于物理层安
学位
基于激光雷达、相机等传感器建立的地图在机器人的定位、导航和避障等任务中发挥着重要作用。本文基于一种新型激光雷达研究地图构建问题,与旋转式三维激光雷达相比,新型激光雷达具有视场角小、扫描模式不重复、不规则的特点。围绕地图构建问题,本文研究了传感器之间的外参标定、闭环检测与校正,提出了一个实用高效的建图系统框架。首先,本文提出一种激光雷达-单目相机外参标定方法。该方法从激光雷达获取的点云数据中估计棋盘
学位