基于注意力机制和CNN融合的实体关系抽取研究

来源 :太原理工大学 | 被引量 : 0次 | 上传用户:anknn21
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网技术快速发展带动了网络信息的爆发增长,如何从大量的无结构信息中快速、准确的获得用户所需信息是当前急需解决的问题,因此信息抽取技术变的越来越重要,信息抽取技术包括命名实体识别、实体关系抽取等子任务,其能够作为自然语言处理问题中的许多任务的基础(如构建知识图谱和本体知识库、信息检索、智能问答系统)。实体关系抽取从基于规则的实体抽取方法到机器学习的实体关系抽取方法。基于规则实体关系抽取需要大量的领域知识去建立关系规则。随着机器学习的兴起,基于特征向量和基于核函数的实体抽取方法逐渐被应用,但是基于特征向量的方法需借助NLP工具进行特征的构建。基于核函数的方法需设计相对应的核函数。但是构建特征向量或构建核函数是费时费力的过程。并且特征的好坏直接影响着最终的分类效果,使用NLP工具的时候存在错误传播过程。基于上述方法的不足,深度学习方法可以从语料集中自动的抽取特征,减少了对NLP工具的依赖,不需要大量领域专家的介入就能充分利用文本的信息。基于此,本文采用卷积神经网络模型进行实体关系抽取,首先在实体关系抽取中为了让卷积神经网络能够抽取到充分的句子语义信息,利用多头自注意力机制对本文的输入进行计算,通过多头自注意力机制对句子中词两两进行相关性计算,最终得到新的词的表达,使得本文的输入词向量在输入卷积神经网络模型之前就能够具有更加丰富的上下文语义信息,在本文模型中将词的位置向量特征在注意力计算之后和词的新的表示进行融合,间接的保证了句子的时序信息。同时在卷积神经网络模型中采用了多尺寸卷积核的操作,同单一固定尺寸的卷积核相比,多尺寸卷积核能够提取到更多的文本信息,弥补了单一固定尺寸卷积核对特征提取的不足。在中文实体关系抽取中,由于中文数据集匮乏和中文语言的复杂性、特殊性等原因在此方面的研究较少,本文用一个中文人物关系数据集,同时使用word2vec词向量技术通过搜狗新闻语料来训练词向量,最终在本文模型在进行验证。实验证明,本文模型对于中文和英文实体关系抽取效果都有提升。
其他文献
《普通高中语文课程标准》(2017年版)明确提出了核心素养,意味着现在的学习要求学生具备更高的学习能力,深度学习显得尤为重要。无论是在高中语文课本中,还是在高考语文试卷中,小说都占到非常重要的地位。小说具有很高的思想性和艺术性,小说是对故事情节的叙述,能够直击生活的现实。小说教学是对小说的分析、理解和鉴赏,能够提高学生认识生活、感悟生活和辨别是非的能力。可以肯定的是小说学习对学生的发展起着非常重要
本文为日本NHK(Nippon Housou Kyoukai)新闻播报口译实践报告,内容为2019年下半年对日本带来严重影响的19号台风相关播报,因其持续时间长、影响范围广,在相当长一段时间里都是新闻播报的主要内容。本次的口译实践选取了2019年10月11日至2019年10月17日为期一周的相关语音播报,播报总时长约为一小时,口译任务的原文16676字,译文12170字。NHK,全名为“日本放送协
空气污染已成为影响公众生活质量和地区经济发展的重要不利因素,降低空气污染,打赢空气污染治理保卫战是当前世界各国的共同目标。空气污染不仅危害公众的健康、减少寿命,而且对人们的心理情绪、日常行为方式、外出旅行以及工作效率等诸多方面产生负面效应,降低了城市的社会经济活力。旅游业作为我国第三产业经济发展的重要部分,也同样面临着空气污染等多方面的挑战。随着21世纪网络技术的蓬勃发展,丰富且客观的海量在线旅游
在超高压条件下,物质会产生新的特性,为了追求和研究这些特性,促进了超高压技术的发展。在超高压试验研究中,模具作为重要组成元件,需要能够承受工作环境下的巨大压力。钢丝缠绕预应力模具通过将高强度钢丝缠绕在压缸上对压缸施加预紧载荷,使压缸产生反向预应力,可以有效增加模具的承载能力。1.根据钢丝缠绕预应力模具的特点,本文设计了一种钢丝缠绕装置,对各个机构的功能特点进行了介绍分析并对各个机构作出结构设计。概
随着社会进入知识爆炸时代,知识的更新以及技术的淘汰与发展之快已经超过了以往任何时代。为适应不断发展的社会环境,教师的教育理念和教学方法都需要与时俱进,这其中,针对性地教会学生如何学习显得极为重要。中职学生学习的积极性和主动性普遍较差,且缺乏合适的学习方法,对此,教师需要传输给学生自主学习的方法,培养其课堂中的主体参与意识,促进其由被动学习向主动学习的转化。学习方式的改变可能在两个方面对中职学生产生
党的十九大报告指出,要“坚定实施科教兴国战略”,并指出要“培养造就一大批具有国际水平的战略科技人才、科技领军人才、青年科技人才和高水平创新团队”。因此培养一支高素质的体育教师队伍,势必成为一项重要的工作。习近平总书记在2014年教师节前夕视察北京师范大学的讲话中谈到了“新四有教师”,即有理想信念,有道德情操,有扎实知识,有仁爱之心。为新时代优秀教师的培养指明了新的方向,在此形势下,研究优秀中小学体
随着对矿产资源的开采,回采深度逐渐向深部发展,巷道围岩控制愈加困难,岩体应力水平急剧增加导致巷道围岩大范围破坏、持续变形严重影响巷道稳定性,特别是本文所研究的潘二矿11123工作面底板下方底抽巷,在工作面进行开采前,底抽巷已处于支护稳定状态,11123工作面开采的扰动作用致使围岩应力重分布,应力向底板深部传递,造成底板不同程度的破坏,会造成深部岩体的强扰动,极易影响巷道稳定性。因此,深入研究111
作为中国分布广泛的生态系统,喀斯特生态系统在过去50年中因快速砍伐森林和精耕细作而迅速恶化。在“绿色换粮”项目下,为了恢复土壤功能和生态系统服务而放弃了一些受干扰的农田,导致了不同的植被恢复阶段(原生林、次生林、弃耕和耕地)。喀斯特土壤中氮普遍缺乏,但在后农业演替期间通过调节重氮营养群落特性以及固氮酶的固氮能力可有效改善土壤环境特性,从而为“新的”氮输入陆地生态系统做出重要贡献。为探究固氮菌群与固
H.264/AVC及H.265/HEVC视频编解码标准自发布后取得了巨大成功,为了提高对于更高分辨率、更高位深的视频编解码效果,新一代编解码标准VVC正在制定中。新标准以上一代标准H.265/HEVC为基础,加入了一些新的技术,以期在编码相同质量的图像情况下,节省一半的码率。本文针对新一代视频编解码标准VVC进行研究,着重研究了新标准的编码性能及复杂度,并就其中占编码复杂度较高的四叉树加多元树划分
随着我国经济快速发展,人们对石油天然气的需求日益提高,进而对油气田现场能源开采效率提出了更高要求。由于石油开采设备频繁作业井下连续油管连接处存在老化、锈蚀等问题,以及修井作业过程中时有出现油管卡死现象,极大的影响了修井作业效率。本文通过对国内外现有的油管内切割设备的优缺点进行剖析,并结合国内修井作业设备的基本作业流程,研发一种与现有带压作业机有效融合的密闭切断装置。参考手动油管外切割工具作业方式,