基于深度学习的远程监督关系抽取算法研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:yqligjs
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着知识图谱技术的发展与应用,作为构建和补全知识图谱的重要环节,关系抽取算法在过去的几年中发展迅速。由于不需要花费大量的人力和时间就可以获得大规模的标注数据,远程监督关系抽取逐渐受到研究者的青睐。然而,由于假设过于强烈,远程监督在标注数据时缺乏对自然语言语义多样性和复杂性的理解,从而引入了数据噪声问题。因此,该任务的主要目标是如何对数据进行建模以规避标注语料中噪声,同时挖掘更多的符合实体间关系的语义特征。随着深度学习的发展,研究者提出了大量方法以提升远程监督关系抽取的性能。一方面,许多研究者分析了通过远程监督方式标注的数据的特点,从文本数据出发,挖掘数据本身内在的联系及特征。另外一方面,一些研究者使用远程监督标注的训练语料库之外的其他外部知识来提升关系抽取的效果。本文分别从这两个角度出发,研究远程监督关系任务中存在的问题,并提出解决方案。从数据本身出发,现有的深度方法将放在同一包中的句子独立对待,而忽略了句子间的相关性。此外现有的深度学习模型在编码句子的向量表示时,忽略了句子作为自然语言本身潜在句法结构信息。在本文中,我们提出了一种融合句子间关系的关系抽取模型(Incorporating Instance Correlations in Distantly Supervised Relation Extraction,简称ICRE)。对于每个包,模型首先构建每个句子的句法依存树,然后再构建句子间的关系,然后将图进行编码学习到的节点(单词)向量表示输入到句子编码器中,以获得更好的句子表示向量。此外,模型使用引入了句子级注意机制来选择有效实例并学习文本关系的表示。最后,将学到的向量用于训练我们的关系分类器。在NYT和GIDS数据集上的实验表明,我们的模型明显优于比较的方法。从外部知识出发,现有的远程监督关系抽取方法将数据中标签信息视为独立且毫无意义的独热编码矢量,这会导致潜在的标签信息丢失,从而无法从包中选择有效的句子。在本章中,我们提出了一种联合标签表示学习的远程监督关系抽取算法(Improving Distantly Supervised Relation Extraction with Joint Label Embedding,简写 RELE)。该模型充分利用了来自知识图谱的结构信息和来自实体描述的文本信息,并通过门控机制来融合两种信息集成学习标签的表示,同时通过注意机力制避免了引入新的的噪声。然后,将学习到的标签表示用作句子上的另一个注意力机制,其中句子的表示也通过实体描述得到了增强,以提升关系提取。通过NYT-FB60K和GIDS-FB8K数据集上大量的实验表明,我们的模型明显相比最新方法有显著的效果提升。
其他文献
神经源性肺水肿(Neurogenic pulmonary edema,NPE)是由于各种急性中枢系统损伤导致颅内压急剧升高,引起肺部一系列病理改变,而无原发性心、肺、肾等疾病,尤以颅脑外伤和脑血管意外
基于机会识别与资源配置理论,总结了TikTok的全球化发展经验。在资源数量的追求上遇到瓶颈时,应该调整策略,尝试在精准识别发展机会、洞悉客户需求、了解市场特征、掌握资源
针对坐标测量机开环运动控制的不稳定问题,提出以运动控制芯片MCX314、CPLD、单片机C8051F320以及外围电路等构成新的运动控制器,实现坐标测量机各轴交流伺服电机的闭环控制.研究了C8051F320的固件程序的开发与USB协议的实现问题,实现上位机和主控电路进行USB通信,对基于MCX314寄存器操作的函数进行封装,并编制控制系统程序.在测量机上进行测试,结果表明:测量机各轴电机运动平稳、
目的:评价胸腔积液腺苷脱氨酶(ADA)、乳酸脱氢酶(LDH)在支气管肺癌胸水及结核性胸水的诊断价值。方法:对119例患者(支气管肺癌54例,结核性65例),每例均检测患者胸水ADA和LDH。结果:肺癌
针对装配整体式叠合结构的二阶段制造和二次受力特点,指出了它的使用前景,介绍了它的发展历程。并从叠合结构与预应力相结合的角度分析了部分预应力在叠合结构中应用后所体现出
Norton pcANYWHERE可对远程PC进行遥控,在交通规费征稽中实现了为基层提供技术支持,报表、数据的传递,特殊业务的处理,及对基层征收工作的指导和监督。
随着航空航天和军事工业的发展,传统的镍基、铁基高温金属材料越来越不适合目前的发展,急需开发新的材料以迎合日益高涨的需求。高铌钛铝合金是高温高强TiAl合金中的典范,在高温下依然能够保持优良的力学性能,即便是在航空、航天以及军事领域等要求极为苛刻的服役条件下也可完全达到使用要求。无论是高科技领域先进设备的开发及应用,还是汽车零部件的研发都以高温结构材料的发展为基础。虽然应用前景极为广阔,但钛铝基合金
武德教育作为中国武术传承的一种文化属性,具有明显的教育功能。中华武德作为一种深层次的人文精神和民族意识在现代社会的价值主要集中在弘扬民族道德规范上,中学生处于身心
中国特色社会主义进入新时代,党的政治建设是新时代党面临的重大命题和重大使命。党的政治建设是党的根本性建设,决定党的建设方向和效果,具有鲜明的时代要求和时代特征。从
<正>在当前深化企业改革、积极应对入世挑战的新形式下,加强社会主义精神文明建设,用丰富多彩的企业文化来改变企业面貌,塑造企业灵魂,升华企业精神,增强企业凝聚力和向心力,
会议