基于注意力机制的框架识别技术研究

来源 :山西大学 | 被引量 : 0次 | 上传用户:jun13632594162
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
框架语义分析是基于框架语义学理论,识别目标词所属框架,并标注框架所包含的语义角色,通过刻画文本内部丰富的结构信息和语义信息,达到文本语义分析的目的。框架识别作为其核心任务之一,是给定可激起框架的目标词,根据上下文语境,选取最符合该目标词语境的语义框架。提高框架识别模型的准确性,有利于增强句子级语义分析的性能,从而为下游任务提供有效的语义信息。本文针对框架识别任务进行研究,主要的工作及成果如下:(1)融合全局和局部注意力机制的框架识别模型。针对框架识别任务中存在的一词多义和一句多词问题,首先使用BERT预训练语言模型生成文本的向量表示;然后将其与Bi-GRU相结合提取序列化特征并利用全局注意力机制和局部注意力机制分别对上下文与目标词周边信息进行编码;最后融合全局和局部信息编码进行框架选择。实验表明,该方法在中文语料库和英文Frame Net数据集上分别取得了74.90%和88.39%的准确率,较基线模型有明显提升,且对中英文数据具有较好的适应性。(2)基于多阶图注意力网络的框架识别模型。针对框架识别任务中存在的冗余信息干扰问题,首先利用句法分析工具将语料中的词汇以目标词为中心构建句法图,有效的提取了重点词汇,降低了干扰信息;再使用图注意力网络和层次注意力模型通过句法图提取该目标词的语义信息,提高框架识别的性能。实验表明,该方法可以更好地表达目标词与语料中重点词汇的关系,同时相较于基线模型在英文数据集上准确率提升了0.87%。(3)框架识别系统。本文将基线模型和上述模型进行整合,设计和开发了通用的框架自动识别系统。该系统可对中英文文本进行框架的自动识别,此外还添加了语料、框架、词元的管理模块,为今后的研究和语义角色标注等任务奠定了实验基础。
其他文献
以森林土为生长基质和开顶生长箱(Open-Top Chambers, OTCs)的近自然法,选择亚热带造林树种大叶相思(Acacia auriculiformis)、红锥(Castanopsis hystrix)、樟树(Cinnamomum camphora)、枫香(Liquidambar formosana)、海南蒲桃(Syzygium hainanense)的一年生树苗构建实验林,探讨了土壤有
数据挖掘是从大量数据或数据库中挖掘出有价值信息的学科,已经在诸多领域得到了应用。而聚类分析作为数据挖掘中一种不可替代的挖掘技术,同样得到广泛应用,聚类分析根据相似性将样本分为不同的簇或子集,使得不同簇中的样本具有很大的差异性。近年来,核方法因其在非线性模式分析任务中的优势,被广泛用于聚类任务中,但是核聚类的性能很大程度上依赖于核函数以及参数的设置上,因此产生了多核聚类方向,近几年来,基于多核聚类的
机器阅读理解作为自然语言理解的关键任务,受到国内外学者的广泛关注。其意义在于使机器具有理解文本语义的能力。本文重点关注机器阅读理解中的多项选择题任务,即给定文章、问题和选项,要求根据文章内容回答问题,从多个选项中选择最佳选项。然而这些选项通常不是直接来自文章片段,其需要根据文章内容进行总结归纳或推理才能得出正确答案,存在更艰巨的挑战。因此,本文旨在面向高考阅读理解中的多项选择题进行研究,主要的工作
多项选择型阅读理解任务作为机器阅读理解的子任务之一,近年来受到国内外研究者的广泛关注。现有多项选择型阅读理解数据集多为英文语料,且数据集文章覆盖领域及回答问题所需推理能力单一,而高考语文中文章覆盖领域多样、问题复杂。因此,面向高考语文阅读理解的研究任务具有较大的挑战性。本文以2018年国家重点研发计划项目子课题“文本生成及复杂语言问题求解关键技术与系统”为背景,针对高考语文中现代文多项选择题展开研
目前,精神疾病的精准诊断是脑科学中最主要的研究课题。由于精神疾病(比如精神分裂症、分裂症情感障碍和双相情感障碍等)有许多重叠的临床症状,因此基于症状的主观诊断很容易导致精神疾病被误诊为其它相似的疾病从而影响疾病的治疗。利用脑影像(如脑核磁共振成像)探索精神疾病的机制和客观指标,利用数据挖掘的手段用客观影像学测度来定义精神疾病的类别是推动精神疾病精准诊断的必经之路。本论文针对这两个方面展开研究,分别
个性化推荐技术在生活中已被广泛的应用。近年来已提出的推荐算法虽然其推荐性能有了显著提升,但是模型越来越复杂,导致出现了大量的黑盒模型。然而,黑盒模型却存在可解释性差的问题,可解释性推荐是解决此问题的有效手段,其不仅可以为用户提供推荐还可以对推荐的物品做出解释,使用户了解为什么推荐此物品,增加用户的信任度和满意度,从而提高推荐系统的精准度和说服力。所以,推荐系统的可解释性问题变得尤为重要。目前,嵌入
框架关系是汉语框架网(Chinese Frame Net,CFN)中的一种重要资源,它用来描述框架与框架之间的语义关系,从语义场景角度为篇章框架语义单元之间建立关联,为篇章语义理解提供了一种框架语义特有的方式,便于计算机理解篇章语义。中文词之间的关系研究缤纷复杂且与框架关系研究存在差异,因此CFN的框架关系继承使用了Frame Net的框架关系。汉语语义丰富繁多,CFN中会存在框架间关系缺失的问题
计算机断层成像技术(Computed Tomography,CT)在医学成像中的应用十分广泛。但是扫描过程中射线对人体的辐射给病人带来了潜在的致病危险,因此低剂量CT已经成为当前研究热点。实现低剂量扫描有两种策略:一是在每个角度下采集投影时降低管电流强度,二是以稀疏采集的方式减少投影个数。策略二对应的重建方法就是CT稀疏重建。但是,如果使用传统的解析法,如滤波反投影算法,稀疏重建后的图像当中包含严
图像在传输、存储等过程中不可避免地会发生图像质量下降的问题,这对于后续的图像处理带来了巨大的挑战。通过自动判定图像质量,避免将低质量的图像引入图像处理系统中,将在很大程度上缓解或避免上述问题。因此,图像质量评价算法作为图像工程的关键环节具有重要的研究意义和应用价值。全参考图像质量评价(Full-Reference Image Quality Assessment,FR-IQA)方法作为图像质量评价
随着信息化时代的飞速发展,海量数据的有效收集和获取成为关键。数据挖掘作为当今信息时代快速发展的一个重要领域,它逐渐普及应用到各个行业。聚类分析则是处理数据挖掘问题的有效手段之一,通过对海量数据的划分,使数据样本之间潜在的联系表现出来。在聚类分析中,矩阵分解通过数据降维,将高维矩阵的问题分析转换成几个低秩矩阵的问题分析,有效的提升了聚类的效果。本文我们主要根据概念分解的相关知识,增加了函数的对偶性和