面向机器阅读理解的鲁棒性优化方法研究

来源 :苏州大学 | 被引量 : 0次 | 上传用户:t_bear
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器阅读理解(Machine Reading Comprehension,简称MRC)是智能问答领域的重要研究方向,旨在驱动机器理解给定的段落并回答相应问题。MRC技术对于提升智能对话、智能检索和智能客服有较高的应用价值。然而,在上述场景的真实语言环境中,MRC模型依然受限于表达不规范和噪声误导的问题,并未具有较高的鲁棒性,具体表现为(1)易受到语义扰动影响、(2)无法过滤噪声文本和(3)泛化能力不足。上述三项不足分别出现于抽取式MRC,开放域MRC和多答案MRC任务之中。因此,本文集中研究上述三个MRC任务,并逐一对影响MRC鲁棒性的关键问题进行研究。具体地,本文研究内容包括如下三个方面:首先,抽取式MRC的任务是针对给定段落进行深度语义理解,从而完成精准的答案提取。现有MRC模型难以克服该任务中的语义扰动问题,主要原因是复述句中的字面差异与干扰句中的浅层线索,对MRC模型产生了严重的误导。为此,本文提出一种多任务学习方法,在抽取任务中强化模型语义理解能力,从而克服复述句中的字面差异干扰。同时,本文采用外部数据进行多阶段微调,从而提高对段落中浅层线索干扰的抵抗能力。此外,为验证MRC模型的抗干扰能力,本文针对上述两类语义扰动分别构建了对照测试数据集,并通过实验证明了上述方法可以有效提高MRC模型的鲁棒性。其次,开放域(Open-domain)MRC是传统MRC的基础上提出的全新挑战,需要首先获取潜在答案的段落,并对获取到的段落进行语义理解,从而得到答案。因此,开放域MRC对相关段落检索的精准性具有较高的依赖性。现有研究发现,段落检索过程中的潜在噪声容易对MRC模型造成极大干扰。为此,本文提出一种知识交互与噪声屏蔽的方法。针对检索得到的段落,本文首先采用自注意力模块对段落文本进行知识交互。在此基础上,本文利用自注意力分数调整段落文本的权重,以此屏蔽其中的噪声文本,从而提高MRC模型抵抗噪声干扰的能力。最后,多答案(Open-ended)MRC是上述两个任务的拓展。该任务针对开放性问题进行答案求解,要求MRC模型具备生成多样性答案的泛化能力。为此,本文提出一种融合外部知识的答案生成方法。该方法首先借助知识图谱,合成具有多样性答案的训练样本,并对生成模型进行多阶段微调。在此基础上,该模型结合外部知识对生成结果进行重排序,根据排序结果择优选出多样性的候选答案,以此提高多答案MRC的泛化能力。本文聚焦于面向MRC任务的鲁棒性优化方法进行研究,从抗语义扰动,屏蔽段落噪声以及提高泛化能力的角度进行技术突破。针对不同鲁棒性问题,本文分别选取对应任务的数据集进行实验,实验结果证明了上述方法的有效性。具体地,抗语义扰动方法在自主构建的两类语义扰动测试集上,分别取得了 12.8%和9.2%的F1值提升;屏蔽噪声方法在Commonsense QA数据集将正确率提高了 4.9%;融合外部知识的生成方法在ProtoQA数据集的关键指标MaxIncorrect@3上取得了 4%的性能提升。
其他文献
面向多轮对话场景的省略恢复与指代消解任务是近年来自然语言处理领域的一项关键任务,其能够通过对缺省话语的补全消歧,获得更能表达完整语义信息的语句,以辅助推进对话进程,帮助对话系统正确地理解用户的意图。给予后续对话状态跟踪、对话回应生成、对话自动摘要等下游任务以强有力的基础支撑。近年来,随着深度学习技术在自然语言处理领域的兴起和发展,多轮对话省略恢复与指代消解研究也不可避免地受到了这波浪潮的冲击。本文
学位
随着屏幕时代的到来,人们对电子产品形成不同程度的依赖,加上空气污染与空调等外界环境因素的对泪膜稳定性的影响,干眼症已成为全球流行性眼部疾病。作为一种多病因的综合性疾病,干眼症检测过程复杂成本高,亟需更加便捷精准的诊断方式。然而相关研究表明深度学习技术在干眼症检测领域的研究与应用相对较少,因此本文就深度学习在干眼症检测领域进行研究,具体包括如下内容:(1)针对睑板腺人工标注数据量限制的问题,本文提出
学位
对比研究了喷丸和喷丸与振动光饰复合处理对GH4169高温合金疲劳性能的影响,利用扫描电子显微镜、粗糙度仪、显微硬度计、X射线应力测试仪分析和测试了试样的表面形貌、表层组织、粗糙度、显微硬度、残余应力场,探讨了表面完整性与疲劳性能的内在联系及作用机制。结果表明:复合处理对GH4169高温合金疲劳性能的改善效果比单独喷丸强化处理更好;复合处理使GH4169高温合金的室温疲劳强度提高了21.6%;500
期刊
隐式篇章关系识别旨在根据可靠的论元语义表示和有效的关系分类特征,推断出两个论元之间的篇章关系。该任务由于缺少显式推理线索,通常需要借助上下文信息、论元中的关键信息以及论元之间的交互信息,获得可靠的论元语义表示,从而形成基于语义深度理解的关系识别方法。然而,现有关系识别模型在表征论元语义时仍然受制于如下三项挑战,包括1)论元片段不完整造成语义缺失;2)上下文噪声信息误导论元的语义编码;3)论元的关键
学位
知识图谱为海量非结构化数据提供了一种组织、管理与理解方式,广泛应用在智能问答等人工智能任务。知识图谱表示学习模型通过编码映射的方式捕获三元组语义信息,使其更好地服务于人工智能应用。而补全实体和概念之间的链接不仅增强图谱完备性,还能反哺知识图谱表示学习模型。近年来知识图谱表示学习研究大多从单视角出发,将实体和概念看做相同的节点,这样不利于充分刻画实体和概念之间数据规模和拓扑结构的差异。而已有的双视角
学位
属性级情感分析是一种细粒度的情感分析任务,针对商品评论,旨在分析出用户对于商品某一属性的情感倾向。具体可分为属性抽取与情感分析两部分,其中属性抽取作为其核心子任务一直是性能瓶颈之一。在众多影响抽取效果的因素中有两点极为重要,一是评论文本中噪声信息远多于属性描述,对属性词的发现造成极大干扰,影响属性词的召回率;二是属性词在精确定位时容易产生边界错误,影响抽取准确率。基于此,本文提出了基于范围检测的属
学位
室内智能服务移动机器人正成为机器人行业的焦点。在讨论移动机器人是否能够解决实际问题实现自主运动时,准确定位是是现移动机器人自主导航的核心关键技术。目前,移动机器人定位大多应用场景单一,难以应对实际使用过程中复杂多变的环境,如何让移动机器人面对不同定位问题时高效、准确地完成定位任务是移动机器人迈向智能的第一步。针对移动机器人在室内场景的应用,本文在主流的传感器融合方案上融合光流传感器和超宽带(Ult
学位
为了提高电网的电力传输能力、电力系统的稳定性以及电力流量控制的有效性,本文在以解决电网电压的幅值和相位360°范围内连续性调制并且要求电路结构尽量保持简单为目标的前提下,通过对电路结构的创新并结合矢量合成技术提出了双极性调制360°直接潮流控制器。该电路结构通过并联电网的输入变压器组分别获得相电压与线电压,根据电路工作原理,通过给出特定的补偿电压相位与幅值并通过串联变压器组反馈到电网中,实现电网电
学位
聚类分析是数据挖掘中一种基础且重要的方法,它能将特征属性比较相似的数据对象聚为一类从而反映数据的整体分布情况,因此被广泛应用于生物科学、环境监测、交通管理和金融分析等领域。随着无线感知器和智能应用设备的高速发展,越来越多的数据是以流的形式实时到达。这些数据流通常包含着大量有时效性且动态变化的信息,因此通过实时数据流聚类挖掘出数据流最近状态下的潜在价值信息是亟待解决的问题,从而为重大事件预警和关键实
学位
对离心压缩机结构进行研究,明确制造期间质量控制要点,并分析构件综合检验、承压部件试验、热处理检查、无损探伤检查等设备制造试验、质量控制的具体操作方法,以保证设备制造科学,并始终保持良好运行状态参与到化工生产作业中。
期刊