基于改进Bi-LSTM模型的实体关系抽取研究

来源 :河北地质大学 | 被引量 : 0次 | 上传用户:hwcareers
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
关系抽取是自动构建知识图谱的关键技术之一,其根本目标是抽取实体间的语义关联关系。知识图谱的构建为智能信息检索和语义分析等都提供了技术基础,应用前景非常广泛。早期的实体关系抽取方法主要依赖于人工,且耗费较多的资源成本。而随着深度学习的崛起,基于神经网络模型的方法可以更好解决实体关系抽取问题,神经网络可以自动的抽取特征,无需复杂的特征设计工程。针对非结构化文本这些实体关系抽取方法中仍然存在上下文环境信息难以准确表征、句子间的实体关系特征不能充分利用等问题,本文提出了一种新的基于神经网络和注意力机制相结合的关系抽取模型。该模型的基础框架是循环神经网络与卷积神经网络相结合,本文所提出的关系抽取网络模型分为两部分,第一部分是将擅长处理远距离依赖关系的双向长短时记忆神经网络(Bi-LSTM)和分段卷积神经网络(PCNN)模型结合并加入注意力机制,第二部分是将长短时记忆神经网络(LSTM)插入到Transformer模型前端,抽取出句子语料中相邻词之间的特征和词级特征,从而将文本语料中潜在的语义信息更好的挖掘出来。同时,为了可以让模型挖掘出更多的特征信息,输入层在应用词向量信息和位置向量信息以外,还应用了实体对上下文向量信息,从而更好的完成实体关系抽取任务。最后,该模型在数据集Sem Eval-2010 Task8和Wiki80进行实验,并与其他几种经典模型进行了对比实验。通过实验分析,表明本文所提出的模型结构对实体关系抽取研究的结果性能有一定的提升,实验结果分别达到了83.81%和81.96%。
其他文献
近年来随着互联网的普及和应用,网络上的信息量呈现井喷式增长,推荐系统成为解决信息过载问题的一种重要方式。推荐算法是推荐系统的核心,决定着最终的推荐效果。基于矩阵分解的推荐算法和基于内存的协同过滤推荐算法作为经典的推荐算法被广泛应用于各种推荐系统。但是基于矩阵分解的推荐算法存在着数据来源单一及数据稀疏性等问题,基于内存的协同过滤推荐算法存在实时性不强、评分预测准确性偏低以及相似度计算模型完全依赖共同
学位
随着实际生产中各类优化问题的规模越来越复杂,对于优化问题的求解难度越来越大。国内外学者开始关注利用启发式算法来对优化问题进行求解。演化算法是一类基于群智能的元启发式算法,因为其普遍适用性与有效性逐渐成为一种应用前景非常广阔的全局优化算法。樽海鞘算法是由Mirjalili等人2017年提出的一种新型演化算法。具有容易实现,控制参数少等特点,被广泛应用于智能电网故障自愈控制研究、增强电力巡检图像、光伏
学位
无线传感器网络(Wireless Sensor Networks,WSN)具有尺寸小、成本低、部署方便等优点,在智慧农业环境监测中有着重要应用。但传感器节点携带能源有限,且农田监测具有运行周期长、环境复杂多变等特点,使得保证持续高效的数据采集传输成为环境监测的一大难点。分簇路由技术能够将网络节点合理划分成簇,科学规划多跳传输路径从而延长网络生存周期;基于分簇的数据融合技术可以通过减少节点冗余数据传
学位
随着移动互联网和云计算技术的迅猛发展,人们通过移动互联网对各种信息进行浏览的背后蕴含着巨大的商业价值,其中广告点击率预测在广告商业变现中占有十分重要的地位。广告投放取得的巨大成功的背后主要因素之一是点击率(Click Through Rate,CTR)预测技术,作为广告推荐系统和在线广告等商业应用的关键问题,点击率预测在整个移动互联网中发挥着重要的作用。特征选择是一种常用的降维方法,基于演化算法的
学位
在地震勘探中,层位追踪是解析、处理地震资料的基础工作,准确的层位信息能为地震勘探的资料处理与分析提供更好的基础工作。地震相分析技术用于解释地震资料中地质地层构造、预测油气的储存情况,为处理地震资料提供参考。近些年随着数据采集方法和技术的持续发展,地震数据资料中蕴涵的信息也随之增加。传统的层位追踪、地震相识别方法工作量大、效率低、精度差,解释过程中经常依赖于翻译人员的主观经验知识。深度学习是依托于数
学位
云计算作为一种新型计算模式,具有方便快捷、按需网络访问的优势,也大大满足了数字经济时代企业和个人日益增长的数据计算需求。任务调度是云计算环境中的一个重要技术,是将用户提交的任务分配到虚拟机资源上的过程。任务调度的结果不仅会直接影响用户使用云计算服务的满意度,还影响着云计算服务商的利益问题。鉴于云计算任务调度问题的NP属性,主流的任务调度方法一般应用启发式智能算法进行求解。由于启发式智能算法数学基础
学位
自然场景文本具有紧密的逻辑性与丰富的表达性,能有效提供高层语义信息。随着互联网技术的飞速发展,对自然场景文本的分析与处理也逐渐成为计算机视觉领域的研究热点之一。目前主流的文本检测方法是基于深度学习的文本检测方法,其中图深度关系推理算法(DRRG)使用一种创新性的局部图结构,将文本区域建议网络和深度关系推理网络相连接,实现模型的端到端训练和预测。但也存在一些问题,比如在使用GCN网络学习图节点的表示
学位
地震相分析是地质地层分析和油气藏预测的关键技术。近年来,研究者提出了一些基于深度学习的地震相分析方法,但深度学习往往需要大量标注数据,在实际地震勘探中获取标注地震数据的难度大、成本高。针对现有地震标注数据不充足的问题,本文分别从自监督学习、无监督学习和半监督学习的角度研究了基于深度生成网络的地震相分析技术。具体工作如下:(1)地震数据特征提取的预训练模型。对于地震相分析,深度神经网络需要提取不同层
学位
混合震源采集技术(简称混采技术)作为地震勘探中一种新的采集方式,具有采集效率高、勘探成本低等优点,但混采方式会不可避免地引入混合震源叠加噪声(简称混叠噪声),影响采集数据后续的处理和解释。混叠噪声降噪技术可以压制混叠噪声,将混合震源数据分离为常规单震源数据,但传统混叠噪声降噪方法参数选择困难,计算成本高,对相关从业人员依赖性强,尤其随着物探技术发展,采集的地震数据量成爆炸式增长,对地震数据处理所要
学位
近年来,随着通信技术的进步和社交平台的发展,越来越多的人喜欢通过文字、语音、视频、图片等多种方式在社交网络平台上表达自己的观点和看法,因此每天会产生大量带有丰富情感信息的多模式数据。情感分析被定义为从人类中提取一组情感状态,是人机交互中自动检测人类意义的必要手段。随着深度学习和人工智能的发展,情感分析作为人机交互的一个关键方面受到了研究者的广泛关注。在某些情况下,仅基于文本信息很难评估情感类别。在
学位