基于深度学习的机器阅读理解算法研究

来源 :福州大学 | 被引量 : 0次 | 上传用户:nisshei5zd
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,人们在机器阅读理解的研究上取得了很大的进展。机器阅读理解的主要任务就是通过给定的文章和相对应的问题,利用模型的理解和推理能力给出问题的对应答案,因此如何提升机器阅读理解模型的推理能力,成为了机器阅读理解的重要研究方向之一。在机器阅读理解领域,大部分模型是针对特定阅读理解任务与数据集。本文分别针对离散推理和文本跨度预测类阅读理解问题提出相应的深度学习模型,并分别基于DROP(Discrete Reasoning Over Paragraphs)和NQ(Natural Question)数据集验证了模型的性能。针对离散推理类型阅读理解,现有的模型为了支持数字推理,大多是通过预测有符号的数字得到可以计算的算术表达式,并且被设计成只产生一个单一的跨度文本答案。上述机器阅读理解模型在DROP数据集上取得了不错的效果,但是它们对每个有符号数的预测是独立的,因此很可能会产生明显错误的表达式,并且它们没有考虑表达式的上下文信息,对于一些正确答案是由多个跨度组成的问题也不能很好地处理。针对上述问题,本文提出了一个融合强化学习的多跨度网络机器阅读理解模型(MSN-RL,Multi-Span Network for Machine Reading Comprehension with Reinforcement Learning)。针对有符号数的预测问题,引入了强化学习模块,通过环境的奖励反馈来学习模型参数;针对多跨度答案问题,提出了基于DBS(Diverse Beam Search)的多跨度预测模型,在输入文本中提取多跨度答案。在DROP数据集上的实验结果表明,与基准模型相比,本文提出的MSNRL模型在多跨度预测、数字推理等方面具有优势。针对文本跨度预测类型阅读理解,现有的模型大多通过注意力机制来捕获文章和问题之间的语义关系,从而预测跨度文本生成答案。上述机器阅读理解模型在NQ数据集上取得了不错的效果,但对于输入文本的语义信息建模不完整,并且无法捕获输入文本和问题之间的部分语义关系信息。针对上述问题,本文提出了一个融合上下文向量的答案标注网络机器阅读理解模型(ATCV,Answer Tagging for Machine Reading Comprehension with Context Vector),ATCV分为长答案预测和短答案预测两大模块。针对长答案预测模块的输入文本的语义信息建模不完整的问题,引入了上下文向量;针对短答案预测模块的输入文章和问题之间的语义关系建模问题,提出了基于序列标注来提取短答案的方法。在NQ数据集上的实验结果表明,与基准模型相比,本文提出的ATCV模型在文本理解、答案预测等方面具有优势。
其他文献
在纺织工业中,由于织机的机械故障、机器部件老旧、用于编织的纱线存在缺陷、布匹被过度拉伸或者表面存在褶皱等原因,加工出来的织物表面往往存在大大小小的瑕疵,严重影响到纺织工厂的生产效益。因此织物瑕疵检测成为纺织工业质量控制的重要环节。为了满足织物瑕疵检测模型需要具备高检测速度、高检测精度、低人工成本的实际需求,本文将深度学习方法应用到织物瑕疵检测领域中,研究并设计出适用于多种瑕疵类型与复杂纹理背景图像
学位
聚类算法是一种能将数据集中相似的点聚集起来的无监督学习算法。批量聚类算法虽然准确度较高,但不能有效利用上一次的聚类结果,每次运行都需要使用全部的数据集进行重新计算,导致资源浪费、耗时等问题。增量聚类指的是在新数据到达后,不必重新构建整个模型,只需要根据已经构建好的模型进行更新,这一特点非常适合于流式计算,但增量聚类算法准确度相对较低,并且无法满足流式数据需要实时处理的特点。流式聚类虽然能够实时处理
学位
信息技术的发展使得数据呈现高维化的趋势,而维度的增加会提升数据处理的难度,这一点在聚类分析中得以体现。由于高维数据的稀疏性和冗余性,许多传统的聚类算法在面对高维数据时会出现性能差的问题。为了解决这一问题,研究者们提出了许多新的聚类算法,子空间聚类(Subspace Clustering)就是其中比较有代表的技术之一。SubKMeans是一种基于K-Means的子空间聚类算法,其将原数据空间划分为一
学位
近几年雾霾天气频繁出现,给人们出行造成了极大的不便。雾霾天气下的场景能见度降低,进而导致一些成像设备获取的图像场景不清晰,不利于后续的场景内容分析。因此,图像去雾成为一个重要的研究方向,其旨在将有雾场景图像还原成无雾场景图像。本文围绕图像去雾这个主题,主要提出了三种基于深度学习的图像去雾算法。本文的主要研究内容如下:(1)提出了一种基于编码-解码结构的图像去雾算法。此算法首先使用三种不同卷积核大小
学位
机器阅读理解的目标是使机器具备理解自然语言文本的能力,已逐渐成为自然语言处理领域中的热点问题和重要研究方向之一。近年来,随着深度学习技术的兴起和大规模数据集的发布,该领域的相关研究取得了令人瞩目的进展。尽管如此,仍然存在诸多挑战如:以往方法中的问题-段落匹配结构难以准确刻画观点型问题中的语义关系;现有模型在多类型问题任务上尚不能很好解决答案类型多样化和数据不平衡带来的模型泛化性下降的问题;已有方法
学位
人体姿态估计,又称人体姿态识别,指对于给定人物图像或视频回归出人体关节点位置的过程。作为计算机视觉领域的热门研究课题之一,人体姿态估计在智能安防、人机交互、新零售、生物力学等多个领域有广泛应用。然而,当前人体姿态估计面临诸多难点。例如,视频背景复杂,人物相互遮挡,拍摄角度多变,光照强弱不均和人体姿态歧义等因素都会影响人体姿态估计准确度。现有的视频人体姿态估计模型主要利用光流或三维卷积网络来捕获视频
学位
近年来,随着医学信息的飞速发展,各种医学影像数据也越来越丰富,医学图像目标检测不断发展完善。针对腔镜甲状腺切除手术这一场景,甲状旁腺损伤可导致甲状腺患者术后终身的低钙血症,医生在腔镜手术时需要保障其不受到损伤。然而,甲状旁腺是很小的腺体,且在腔镜甲状腺切除手术中可能会出现充血和阻塞,这使得经验丰富的外科医生也很难识别它们。因此,通过计算机视觉中基于卷积神经网络的目标检测技术识别并定位甲状旁腺的位置
学位
现实世界中的复杂系统可以抽象为复杂网络,如蛋白质交互网络、科学家合作网络、文献引用网络等。复杂网络中的一大重要特征是社区结构,其含义为复杂网络中具有紧密内部连接的子图。在复杂网络中发现社区结构有助于揭示复杂网络的内在特性、了解复杂网络内部节点关系及演变趋势,为现实世界中的许多实际应用提供强有力支撑,因此社区发现逐渐成为复杂网络中的研究热点。然而,随着大数据技术的高速发展,复杂网络的规模呈指数倍数增
学位
随着地球村概念的提出以及经济的发展,金融市场变得更加开放,我国经济正在逐步进入信用经济时代,在这个时代,信用消费已成为人们常用的一种消费方式。随着各类信用用户的增多,信用缺失、信用欺骗等问题逐渐显现,这说明我国信用体制还有待完善。为了避免上述问题的发生,分析用户的信用成为关键环节。本文主要研究用户信用体系中的用户画像和信用评级,主要工作可分为以下几个部分:第一,介绍了金融数据的不平衡性并研究了不同
学位
图像修复的目标是利用图像中已知内容,按照一定的修复规则,自动地恢复丢失的内容,具有极其广泛的应用价值。而近年来深度学习在图像修复领域取得了一定的突破,但仍然存在一些问题,比如修复区域较大时,边缘容易产生伪影干扰等。且基于深度学习的模型大多数是基于自然图像进行设计训练,因此在自然图像上表现优秀的模型移植到特定样本经常难以达到预期效果,如医学图像。基于以上问题,本文主要的研究内容和工作创新点如下:(1
学位