基于自注意力机制的问答模型

来源 :吉林大学 | 被引量 : 0次 | 上传用户:maamyaayha
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器阅读理解是自然语言处理领域最热门的课题之一。特别是随着深度学习的兴起,机器阅读理解算法也得到了充分的发展。现有的机器阅读理解任务可以归结为4类,分别是:填空式阅读理解任务、选择式阅读理解任务、抽取式阅读理解任务和生成式阅读理解任务。抽取式任务是近些年研究频率最高的阅读理解任务,需要在大量文本中去寻找答案,而且文本中会出现一些似是而非的答案,对比其他任务,抽取式任务面临的问题也更困难。本文主要面向抽取式阅读理解任务,选择SQu AD数据集为对象进行研究,并针对SQu AD2.0数据集中新增加的无答案问题对算法进行了扩展。机器阅读理解算法可以粗略分为两大类:使用预训练模型的方法和不使用预训练模型的方法。在预训练方法中,大多是采取下游任务的微调。而不使用预训练模型的方法,虽然不及前者的性能,但是却可以给研究者们在模型创新方面,提供更多想象力的空间,促进我们探索不同的结构和模型背后的意义。本文尝试聚焦阅读理解模型结构本身,不使用预训练模型,并摒弃主流模型大多使用的循环神经网络结构,利用自注意力机制来构建编码层,构建机器阅读理解模型。具体来说,本文以QANet模型为基础,提出一种相对位置编码方案,并将其融入编码器结构,在预测答案终止位置时引入起始位置特征,并将模型扩展到包含“无答案”类型的阅读理解任务,提出了一种改进的基于自注意力机制的问答模型。本文的主要工作包括:1.针对绝对位置编码的不足,提出相对位置编码方案,并将其引入到模型的编码层和交互层中的自注意力机制模块。2.在输出层中引入新结构建立起始位置和结束位置的联系,以消除原始模型输出起始位置和结束位置的孤立。3.针对SQuAD2.0数据集中判断问题能否被回答的任务,在输出层增加一个分类模块,采用多任务方式进行联合训练。为了验证提出算法的有效性,在SQuAD数据集上进行了实验验证。实验结果验证了本文提出的相对位置编码方案与随机初始化位置编码和绝对位置编码相比具有明显的提升;在SQu AD1.1数据集上,本文方法与最好的对比算法R-Net相比,在EM和F1指标上分别提高了3.2%和3.9%;在增加了判断问题能否被回答的SQu AD2.0数据集上,本文方法与最好的对比算法Doc QA+ELMo相比,在EM和F1指标上分别提高了2.2%和3.1%。这表明我们所提出的方法对于抽取式阅读理解具有良好的性能。
其他文献
特征选择是根据特征的相关性,冗余性等因素对数据集进行维度约简的过程,目前已在机器学习、数据挖掘和模式识别等众多领域的分类任务中得到了广泛的应用,是对相关领域数据进行预处理,进而提升算法性能的重要手段。在特征选择任务中,应在保证较高分类准确率的前提下,尽最大限度地降低所选择的特征数量,以达到降维的目的。近年来,元启发式算法因其在处理复杂现实问题方面的高效性受到了学者们的广泛关注。与此同时,许多元启发
学位
肝癌是发病率和致死率较高的肝脏疾病之一,肝癌治疗需要准确的诊断和计划。计算机断层扫描(CT)技术是诊断肝癌最常用的成像技术,可以提供人体腹部器官的准确解剖信息。但是,从CT扫描中手动分割肝脏器官和肿瘤既繁琐又耗时。目前,计算机辅助分割方法已广泛应用于肝脏和肝脏肿瘤的分割。然而,不同患者肝脏的位置、形状和大小差异较大,CT图像的对比度低并且器官边界模糊,使得自动化肝脏分割成为一项具有挑战性的任务。此
学位
脑肿瘤是指在大脑内部生长的不正常细胞群,由于大脑结构的复杂性,对脑部肿瘤图像的病灶区域进行准确分割对医生诊断至关重要,而在图像分割任务中深度学习的应用也日渐广泛,在此背景下,本文对应用深度学习分割脑部肿瘤图像的方法进行研究,提出了基于密集跳跃连接的脑肿瘤图像分割方法。脑肿瘤图像序列的分析学习不仅要考虑到多维度的空间信息,还需要将多种成像模式下的图像进行关联学习,以获得更加准确的分割结果。为减少图像
学位
伴随着计算机科学的不断发展,图像技术开始与临床医学相融合,产生了现代医学成像技术。现代医学成像技术通过提取人体各个组织的生物特征信息并加以分析,可以获得患者检查部位组织的生理功能和代谢状态信息,实时地反映患者的健康状况。医疗图像成像技术的发展将传统的解剖学观察人体组织转化为如借助电子计算机断层扫描仪器对器官影像进行选择处理,临床医师可以更加直观高效的对患者进行诊断并给出相应的治疗方案,减少了患者的
学位
随着科技的进步和工业的飞速发展,各个领域涌现出许多复杂非凸、非线性不可微的优化问题。群体智能算法作为一类启发式优化算法,以其独特的优化机理在解决这些问题时展现出了优秀的搜索性能。粒子群算法(Particle Swarm Optimization,PSO)作为群智能算法中重要的一类算法,由于其易于实现,且具有参数较少收敛速度较快等特点,被认为是解决复杂优化问题的一种可靠的算法,并被广泛应用到各个领域
学位
人们获取和发表信息的方式随着互联网技术的提高越来越便捷,各种信息的数据量也在日益增长。与此同时,出现了“信息过载”的问题,人们无法从众多数据中高效地找到自己想要的信息。推荐系统用于解决这一问题。面对用户需求比较模糊的情况,推荐系统根据用户的历史信息和属性等数据计算出用户的喜好,从大量的数据中过滤出他们可能感兴趣的事物,然后做推荐。面对不断加入的新用户和新项目,传统的推荐算法会因为缺乏历史数据而无法
学位
软件产品线是一组软件产品,它们共享一组可管理的功能,满足特定细分市场或任务的特定需求,并以规定的方式从一组共同的核心资产中开发出来。软件工程师使用软件产品线来降低软件成本,提高软件可重用性并促进软件维护。在软件产品线配置问题中,一个关键的任务是得到一个满足利益相关者特定需求的最优产品。软件产品线配置是一个典型的多目标优化问题。软件产品线配置问题往往涉及多个相互冲突的目标,探索可行解的有限搜索空间,
学位
阿尔兹海默疾病(AD)是一种多发于老年人的神经系统退行性疾病。预计至2050年,每年新增病例将达到100万。随着步入老龄化社会,未来AD患者将快速增长,这对社会发展构成了严峻的威胁。目前对于中晚期AD还没有有效的治疗方法,因此AD的早期诊断变得尤为重要。近年来长链非编码RNA(lnc RNA)被发现参与越来越多的生物过程,与癌症和阿尔兹海默等疾病的发生密切相关。目前lnc RNA已经成为这些疾病重
学位
<正>小伙伴们,新的学期开始了!寒假期间在家就能睡想睡的觉,想怎么躺就怎么躺!想去哪玩就去哪玩!没有门禁没有熄灯!没有断网没有断水!不用在饭堂挤队打饭,想吃什么就吃什么的日子即将结束。你是感到惊喜?还是意外?听说最近全国各地学校都在上演史诗大片《开学》,不知道在假期玩high了的同学们,是否患上了"假期综合症"呢?下面小编给你配上几贴药,保证药到病除!
期刊
目前,神经网络极大推动了各个领域的研究,越来越多的神经网络模型被研究人员设计并提出,如卷积神经网络、循环神经网络等等。深度学习在许多领域的成功很大部分依赖于大量可用的训练数据,深度学习模型可以从这些欧几里得数据中提取到数据本身隐藏的信息。然而,越来越多的数据以非结构化的形式存在。因此,在过去几年中,研究人员不断提出能适用于处理复杂图数据的模型并使其迅速发展。图神经网络是一种处理非欧几里得空间数据的
学位