数值离散推理型阅读理解算法研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:fredric_cn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着人工智能和自然语言处理技术的发展,机器阅读理解技术受到广泛的关注。这项技术赋予了计算机理解文章的能力,从而辅助用户快速得到问题答案。然而,现实中的文本含有大量的数值词符,该类数值文本难以被直接建模。与非数值词符相比,数值词符还包含数值离散信息,例如数值之间包含大小等偏序关系、数值之间可以进行四则运算等。如何对数值离散信息进行建模还未被深入研究。本文在机器阅读理解原有的研究成果上,针对数值离散信息在机器阅读理解算法中的建模展开研究。这一领域主要分为端到端和两阶段这两类算法,本文对这两类方法分别进行研究并针对其中的不足进行改进。本文主要工作包括:一、传统端到端模型缺乏对数值离散信息的显式建模,这可能导致数值信息的损失。对此,本文结合位置编码技术提出数值位置感知的文本编码器NPAE(Number Position Aware Encoder)。相比于传统的Transformer编码器,NPAE对文本中数值词符的偏序关系进行显式建模。具体而言,NPAE将数值间的偏序关系分成绝对偏序关系和相对偏序关系,并仿照位置编码在Transformer的输入和自注意力模块对两种偏序关系进行建模。本文在数据集Drop上的实验证明,使用NPAE编码器的模型在F1和EM指标上有所提升。此外,本文通过对比实验探究了NPAE相关超参数的重要性和最佳配置。二、两阶段模型本身具有建模离散信息的潜力,其建模能力主要取决于第一阶段表达式生成的效果。然而,现有方法在该阶段的训练受到监督信号质量较低且缺失数值离散信息的限制,难以对数值离散信息充分建模。对此,本文结合语义角色标注和语义解析技术提出一套注重数值信息的阅读理解任务数据增强方法QRCDA(Quantity Reading Comprehension Data Augmentation)。QRCDA采用解析-执行-翻译的流程构造高质量监督信号。为了生成包含数值离散信息的监督信号,本文提出了数值信息敏感的翻译技术。该技术在生成监督信号时保留了数值离散推理相关的内容,舍弃了匹配推理相关的内容。为证明方法有效性,本文基于两阶段模型Ne Rd在Drop数据集进行数据增强。实验结果表明,带有QRCDA的模型在F1和EM指标上优于原有的模型。此外,本文通过对比实验验证了QRCDA中数值信息敏感翻译的重要性。
其他文献
氢能是一种高效清洁的二次能源,在实现“碳中和”目标中起重要作用。硫碘循环被认为是未来实现大规模制氢的可行方法,面临的难题之一在于Bunsen反应产物(H2SO4/HI)难以分离,影响下一步反应进行。直接电解Bunsen反应产物是实现H2SO4和HI分离的有效方案,H2SO4/HI作为阳极电解液析出碘单质,H2SO4水溶液作为阴极电解液产生氢气。直接电解Bunsen反应产物的制氢方法既能解决硫碘循环
学位
SLAM是一项机器人通过传感器实现自身定位的同时构建出环境地图的技术,被广泛用于导航、自动驾驶等视觉任务中。视觉SLAM由于传感器成本低这一优势而被关注,目前已经有比较深入的研究。然而,传统的视觉SLAM方法在某些场景下的表现仍不能满足实际需求。其一,传统SLAM方法基于场景静态假设,真实场景中不可避免会存在动态物体,当动态物体占据图像一定比例时,会对定位产生负面影响,导致精度变低甚至系统失效。当
学位
深度知识迁移指的是在深度学习中引入人类知识迁移的学习思维,借助辅助域或任务的知识改善目标域或任务的表现。研究深度知识迁移的一个重要意义在于搭建复杂深度学习研究和落地应用之间的桥梁。具体来说,大量的训练数据和复杂精细的神经网络设计是深度学习近年来取得重大进展的两个关键因素。然而在实际应用中,受限于人力、设备等资源成本,深度学习的部署往往将面临训练数据少和部署资源受限两个问题。深度知识迁移,利用大数据
学位
深度歧义一直是阻碍3D人体姿态估计实际应用的重要挑战。随着神经网络的引入,3D姿态估计的性能长足发展,对上下文提取方法的改进则是研究热点之一。但是,目前仍存在以下问题影响深度歧义的缓解效果:其一,主流研究将二维视觉任务的上下文提取方法迁移到3D姿态估计,但人体的纹理边缘等显著特征与关键点深度的联系较弱,3D姿态估计对噪声更敏感;其二,姿态多样性要求上下文提取方法具备强大的姿态迁移性能,研究者针对性
学位
近些年,为了满足医疗健康检测及人机界面互动的需求,柔性导电聚合物材料受到了人们的广泛关注。随着科技的快速发展,柔性导电聚合物材料已经拓展应用到各种领域,例如可穿戴柔性传感器、电子皮肤、软机器人等。其中柔性传感器可以被用来检测与收集人体的各种生理信号,拥有广阔的应用前景。传统柔性传感器尽管表现出良好的导电性,但它们往往缺乏可调节的机械性、可加工性、生物相容性。导电水凝胶材料可以弥补上述缺点,并且应用
学位
共轭聚合物作为一类具有优良光电特性的高分子材料,主要用于光电领域,近年来发展迅速。目前,具有优良特性的光电共轭聚合物其分子设计及器件的制备过程已被广泛探究,然而针对其溶液行为及薄膜凝聚态结构的研究因受限于研究方法却鲜见报道,但是其溶液行为由于在内部因素或者外界因素诱导调控下产生的溶液行为变化却对后期器件制备具有重大影响。从其溶液到薄膜的动力学过程中,共轭聚合物分子链要经历从单链到聚集的缓慢自组装过
学位
凝血机制是人体维持正常生理活动的重要机制,凝血和抗凝血的动态平衡保证了人体的血液循环及止血。癌症是目前严重威胁人类生命健康的重大挑战之一,癌症会破坏正常的凝血功能,癌症患者需同时面临出血和癌栓的共同风险。凝血酶在凝血和抗凝血过程发挥着十分重要的作用。凝血酶适配体是调控凝血酶凝血活性的有效物质。但要满足其在癌症患者治疗方面的需求还需要解决智能响应等问题。针对此问题及癌细胞微环境的特点,我们设计制备了
学位
近年来,工业界与学术界涌现出各式各样的知识图谱。这些侧重于不同领域、基于不同数据库的知识图谱之间存在着大量的共同实体。为了寻找这些共同实体以实现知识图谱之间的知识融合,实体对齐任务应运而生。知识图谱表示学习的出现为实体对齐提供了新的解决方案。然而,现有的大多数基于知识图谱表示学习的实体对齐方法在利用实体邻域信息建模中心实体时,不但没有考虑邻域信息中关系多语义的影响,而且没有剔除掉对实体对齐无用的邻
学位
知识图谱以结构化的方式描述客观事实,可以帮助人们更有效地获取、管理和使用互联网中的复杂数据信息,具有广泛的应用价值。知识图谱推理旨在根据知识图谱中已有的知识推理出知识图谱中缺失的部分,可以帮助丰富、完善知识图谱,具有重要的研究意义。现有的时序知识图谱的知识推理方法主要使用知识表示学习方法将实体和关系映射为低维向量来提取邻域特征信息,然后使用循环神经网络学习时序特征信息,根据这些信息对未来的事件进行
学位
随着时代的发展和人类社会的进步,各种便携,可穿戴,可监测的柔性传感器纷纷涌入人们的视野之中,已成为生活中不可或缺的一部分,传感器的制备和改善成为科学家们研究的热点。传统的以碳基材料,导电聚合物或者金属材料为导电基质构建的水凝胶传感器通常面临着一些问题,比如,碳基材料固有的疏水性和较差的溶解性,导电聚合物的较强的刚性和差稳定性,金属材料的工作电压较高且价格昂贵,这些导电材料的缺点限制了其在传感器领域
学位