基于深度学习的实体关系抽取关键技术研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:stieyin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
通过分析文本从而实现抽取特定的事件或事实信息的过程,被称为信息抽取。通过对结构不统一的非结构化文本进行信息抽取,能够得到简单明确的结构化数据,便于人们对数据进行高效检索及管理。实体关系抽取作为信息抽取技术的主要任务,在近年来受到学术界和产业界的极大关注。实体关系抽取的目的在于给定一段非结构文本后,从句子中寻找、识别和分类相关实体以及实体之间的关系。在许多下游自然语言处理任务中,例如信息检索、搜索引擎和问答系统,被广泛应用。近年来,随着大规模实体关系数据集发布以及深度学习技术的快速发展,实体关系抽取相关研究取得了令人瞩目的进展。尽管取得了如此成就,却仍然存在许多挑战如:1)神经网络模型倾向于局部不稳定,并且即使很小的扰动也会误导它们;2)以前的工作采用简单的特征串联来融合字-词符晶格信息,未考虑捕获每个字符与其对应单词之间的细粒度关系;3)过去的一些工作通过添加词级或多义词路径作为外部知识,来向有向无环图结构增强字符级表示。但是,这些方法只能学习字-词符实例的顺序交互,而不能考虑每个字-词符以及句子级全局特征之间的稠密交互;4)过去的一些方法采用简单的特征拼接的方式,将实体标签信息融合到上下文表示中,从而带来了不错的性能提高。但是,这种简单的方法只能学习通过令牌级语义的跨模态实例粗粒度的交互,不能有效地推断每个令牌和每个标签之间的相关性。因此,为了应对上述挑战,本文基于深度学习技术,聚焦实体关系抽取,从提高神经模型的鲁棒性、融合词信息到基于字的模型、建模中文句子的语义表示和实体关系能够有效的联合建模等方面开展了一系列研究。本文的主要贡献总结如下:第一,针对神经模型倾向于局部不稳定,本文提出了一个结合对抗训练的晶格结构(晶格结构是指给定的字匹配到词的结构)的神经网络模型。发现对抗训练不仅可以提高神经网络的鲁棒性,本文提出的神经网络还可以协调考虑字符和词信息,从而充分利用数据信息。第二,针对如何有效的融合词信息到基于字的模型,本文提出一个动态的跨-自晶格注意力网络来解决该问题。为此,本文引入了一个跨晶格注意模块来捕获每对字符和匹配词特征之间的细粒度关联,还引入了一个动态的自晶格注意模块进行建模字符序列内部的自相关。我们在中文命名实体识别基准数据集的实验结果表明,该模型相比基线方法性能更优,同时效率更高。第三,针对如何有效建模中文句子的语义表示,本文为中文关系提取任务提出了一个简单有效的多模态交互模型,该模型旨在不同模态的语义表示之间进行交互。为了达到这个目的,本文引入了一个自晶格注意模块来对每对字符和词特征之间的细粒度相关性进行建模,并进一步提出一个句子模态注意力模块去抽取句子的全局语义。我们在关系基准数据集的实验结果表明,与其他基线方法相比,本文提出的模型取得了更好的性能。第四,针对如何实体关系能够有效的联合建模,本文为实体关系联合提取的任务提出了一个深层的跨模态注意力网络。该网络旨在通过捕获跨模态交互信息来利用实体标签信息。本文提出了两个基本的注意力单元来协同地建模令牌-令牌和标签-令牌的相关性。我们在实体关系基准数据集上的实验结果表明,相比之前方法本文提出的方法性能得到了大幅度提升。
其他文献
雷达辐射源信号分选是雷达信号侦察的关键技术,是感知电子战场态势的核心步骤,同时也是当前制约雷达对抗发展的重要环节。然而,随着电磁信号环境的日益复杂,雷达信号趋于高密度化、形式多样化,现有依托批量处理方式的雷达辐射源分选方法很难满足雷达侦察的实时性需求。如何提高雷达信号分选技术,实现雷达辐射源在线分选正成为电子对抗领域中具有重要意义的研究课题之一。本文主要在数据流聚类框架下解决雷达辐射源信号在线分选
学位
格上困难问题与传统的大整数分解问题、离散对数问题一样,可以被用来设计各种密码方案。不同的是到目前为止,仍未找到能够高效求解格上困难问题的量子算法。因此,密码学家普遍认为基于格上困难问题构造的密码方案,具有抗量子计算攻击的能力,是最重要的后量子密码备选方案之一。随机格中最短向量问题(SVP,Shortest Vector Problem)和最近向量问题(CVP,Closest Vector Prob
学位
随着信息社会的深入发展,军事领域以及个人隐私等对信息传输安全性的需求日益增长,加强对无线通信技术的安全性研究对于提升我国的国防安全以及保护个人隐私具有十分重要的意义。随着计算机技术的飞速发展,在网络层等上层实现的基于加密的传统安全策略逐渐受到威胁;物理层安全无线通信技术充分利用了无线信道的物理层特性,理论上可以实现信息传输的绝对安全,有望成为基于加密的传统安全策略的补充甚至替代。方向调制作为一种通
学位
雷达多目标跟踪技术在区域监视、空中预警等领域有着广泛的应用,从而成为了研究的热点。随着隐身技术的发展及无人机等低小慢目标的出现,获取的观测存在漏检、虚警、观测源不确定等问题,这对多目标跟踪技术提出了严重的挑战。多目标跟踪的任务是从这些观测中估计出随时间变化的目标数目、状态和轨迹信息。随机有限集(Random Finite Set,RFS)理论的出现为这一任务的实现提供了新的解决方案。RFS可以对观
学位
混合层是十分典型的流动现象,既涉及拟序涡结构等机理问题,又与混合效率、流动噪声、流动阻力等实际问题密切相关。开展混合层研究具有重要的理论意义和工程价值。但混合层流动时空尺度范围广,高维非线性,且实验和数值仿真产生的数据量极大,这为机理分析和流动控制研究带来了严峻的挑战。本文以不可压混合层和超声速混合层为研究对象,利用机器学习方法,系统地开展了混合层降阶分析和流动控制研究。提出了一种基于机器学习的降
学位
移动互联网时代,智能移动设备已经渗透到个人与社会生活的方方面面,网络中的移动应用流量数据被赋予了更多的意义,移动网络的安全和管理也受到越来越多的重视。移动应用流量分类作为网络端识别不同移动应用与异常流量的有效手段,是实现移动网络安全和管理的技术基础,然而由于移动应用流量与传统网络流量在流量行为与特征上的显著差异,且相关研究尚不充分,移动应用流量分类技术仍面临一系列的未知与挑战。流量分类技术经过多年
学位
我国航天事业的迅猛发展,对飞行器设计水平提出了更高的要求。构建飞行器有限元或计算流体等高保真模型,既可以灵活方便地评估设计方案的性能、验证设计的优劣,又可以基于高保真仿真分析进行优化设计和可靠性分析,从而显著提高飞行器设计水平。但是,由于“所有模型都是真实物理过程的近似”,在应用高保真模型进行飞行器设计之前,必须首先对模型的精度和置信水平进行评估,即模型确认。目前,飞行器高保真模型存在高计算复杂性
学位
中层大气是日地耦合系统中重要的区域,大气重力波在上传的过程中输送热量、质量和动量是中层大气最主要的动力过程,影响着中层大气的环流结构和大气成分。由于重力波的频谱波段很宽,不同卫星探测器有其特定的优越性和局限性,有必要使用多种卫星资料的综合探测手段来研究重力波特征。尤其对于常用的高光谱资料来反演重力波信号必须考虑通道选择问题,以有效提取不同高度处的重力波信号。其次,青藏高原作为大气重力波的重要源地,
学位
航天器姿态与轨道运动的动力学建模与控制方法决定了空间任务的成败,姿轨控制在空间近距离交会对接、目标监视、在轨服务等空间任务中扮演着重要角色,传统将姿态轨道运动分别单独建模、独立控制的模式无法充分考虑平动与转动运动的耦合影响,无法满足某些任务对位姿控制的高效性与高精度的需求。因此,航天器姿轨一体化建模与高效率高精度控制方法,对于航天器近距离操作任务具有重要的理论意义与工程应用价值。本文对航天器姿轨一
学位
随着信息技术的飞速发展,软件作为基础设施,在各个领域的应用中起着至关重要的作用,协调控制了各项工作的正常运行。然而,不断增长的软件规模以及复杂度同时也带来了软件缺陷数量和复杂度的不断增长。为应对日益严重的软件缺陷问题,学术界和工业界投入大量精力来研究自动化软件缺陷定位技术。由于程序逻辑结构的复杂性和多样性,从程序内部根据其控制和依赖关系去查找缺陷变得十分困难,不确定性也较为突出,因此,许多研究人员
学位