基于GRU胶囊网络的语义关系抽取研究

来源 :中国民航大学 | 被引量 : 0次 | 上传用户:huachao198977
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网技术的高速发展产生了海量的数据,其中以文本形式存在的网络数据是信息抽取领域和自然语言处理领域研究的重点。作为上述领域的任务之一,语义关系抽取已成为广泛关注的热点。关系抽取的研究有助于其他文本类型任务的发展,如文本蕴含、智能问答、信息抽取、知识图谱、信息检索等。目前,深度学习方法在关系抽取任务中取得了一定的成效。相比于传统机器学习方法,深度学习能够依据任务类型自动地从文本中学习相关特征。然而,现有的神经网络关系抽取模型仍然存在一些问题。在监督学习方法中,基于RNN(Recurrent Neural Network)的关系抽取模型仅使用单层结构,缺乏对多层网络结构的探索和丰富特征的提取能力;尽管多数模型引入注意力机制来关注重要的特征,但这些注意力模型往往使用单头机制,不足以捕获句子中的细粒度信息;而基于RNN的胶囊网络模型依然存在噪声过滤不充分的问题,使得网络的计算复杂度较高。因此,本文提出了基于双多头注意力的胶囊网络关系抽取模型。在该模型中,本文对RNN类型的特征编码器的多层结构进行了探索和改进,构造辅助BGRU(Bidirectional Gated Recurrent Unit)网络以抽取更丰富的词级特征;同时引入了双层的多头机制到注意力模型中,以更全面地关注细粒度特征;此外,本文改进了胶囊的实例化方式,减少了噪声并降低了运算开销。对比实验表明该模型能够有效地提升关系抽取的效果,消融实验进一步验证了上述三类改进的有效性。在远程监督关系抽取中,现有的关系抽取模型对外部信息的利用低效,或出现过度依赖性,忽略了预训练实体对间隐含的潜在语义关系。这些模型仅仅将实体和句子其他相关成分编码为向量,该方式混合了大量噪声,弱化了潜在语义关系。因此,本文提出了实体和实体类型增强的胶囊网络远程监督关系抽取模型。该模型利用预训练的实体对构造实体监督器,以增强模型决策时实体对间的潜在语义关系;并使用外部的实体对的类别信息进行动态融合,构造了动态双多头注意力来充分利用外部信息。实验结果表明实体监督器和动态双多头注意力都能够提升远程监督关系抽取的性能,并在该任务上取得了最佳的效果。
其他文献
认证码是保证信息可认证的重要手段,这篇论文主要利用正交阵列、强部分平衡设计和可裂平衡不完全区组设计分别构造了Cartesian认证码和可分裂认证码.首先,利用n-1个n阶相互正交拉丁方以及n阶矩阵Sn,构造了一个阵列,并证明该阵列是正交阵列,将该正交阵列作为编码矩阵得到一个完备Cartesian认证码,与组合论的界比较,发现所构造的认证码达到最少的编码规则数和最多的信源数.在这个正交阵列的基础上,
学位
随民航业快速发展,终端区的航班数量不断增加,管制员工作负荷问题、飞行安全和飞行效率问题日益突出,为减小管制员工作负荷、提高飞行安全和飞行效率,欧洲控制实验中心提出融合点系统。随融合点系统的广泛应用和推广,如何在保证融合点系统内多架飞机飞行安全的前提下,降低融合点系统内多架飞机协同进场的成本问题得到了越来越多的关注。本文首先分析了融合点系统结构组成部分及其运行模式,构建了融合点系统多机协同优化排序模
学位
结构轻量化是工程技术领域研究的热门问题之一。褶皱夹芯结构作为一种新型的夹芯结构,在结构轻量化方面应用前景广阔。褶皱夹芯结构具有V型、M型和S型等多种构型。其中S型褶皱夹芯结构具有明显的优势,但对于其力学性能的研究还比较匮乏。本文在归纳总结了国内外褶皱夹芯结构的构型设计、制备工艺及力学性能的研究方法及研究成果的基础上,分析了复合材料褶皱夹芯结构的独特优势;针对S型复合材料褶皱夹芯结构开展以下研究:首
学位
航空发动机状态监控和故障诊断对于飞机维修及安全运行具有重要意义,智能诊断技术也是未来航空发动机发展的一个重要方向,随着国内飞机数量的增多,发动机从开始服役到寿命终止收集的数据也越来越多。因此,如何利用好这些海量数据研究并建立有效的航空发动机故障诊断模型日渐成为一个十分重要的议题。发动机故障常表现为耦合性、不确定性和并发性。现有智能诊断方法大多实现了单一模型的浅层诊断,但单一诊断模型学习能力弱,更容
学位
在保证安全的前提下,改善旅客服务质量是提高运输量的重要支撑点。准确的找到服务环节的痛点问题成为提高旅客服务质量的前提。旅客习惯在互联网上对服务进行评价,本文以机场旅客服务评价为研究对象,通过深入贴吧、博客、点评网站等平台,研究涉及机场服务的旅客评价文本,这些评价文本中囊括了旅客在机场享受的各方面服务。民航旅客评价文本来源多、规范性差,现有的命名实体识别技术不能很好的从这些文本中找出旅客评价的对象,
学位
随着民航运输业的快速发展,国际民航组织于2006年提出“多人制机组驾驶员执照(Multi-crew Pilot License)”简称MPL。该体系为飞行员培训提供了一个新的方向,模拟机的使用比重大幅增加,占总训练时间的三分之二左右,缩短了飞行员与航空公司需求的链接时间,加快飞行员的成长,保证民航运行安全。针对目前MPL模拟机培训中主要以“满意/不满意”对飞行品质进行宏观评估,存在主观性强、评估标
学位
梯度泡沫铝是一种密度(或孔径、壁厚、材质)沿某一方向呈阶梯变化的新型结构功能一体化材料,可应用于航空航天、汽车、建筑等领域。以纯铝为基体材料的泡沫孔壁强度较低,限制了其在工程上的应用,可通过添加增强相的方法进行改善。本文首次将具有优异力学性能的碳纳米管(CNTs)增强相与梯度泡沫结合,制备成分梯度泡沫铝材料,并对多种类型的梯度泡沫铝在静动载荷下的力学与吸能特性开展系统的研究。本文的主要研究内容与结
学位
温度是影响葡萄生长发育的主要环境因子之一。近年来,随着全球变暖和极端高温天气频发,加剧了高温逆境对葡萄生产的影响,提高葡萄的耐热性对葡萄生产和可持续发展都是至关重要的。本文从高温胁迫对葡萄的表型影响、生理生化变化、热激蛋白表达与调控、激素调控作用以及耐热性评价等方面进行综述,以期为葡萄的耐热机制解析、种质创新和品种选育以及探索抗逆栽培途径提供参考。
期刊
20世纪90年代,航空业开始组建航空联盟,各航空公司探寻新的合作方式来开拓和瓜分国际航空市场。但是航空联盟内不同规模的航空公司在联盟中享受到的权益差别越来越大;而且在联盟框架内,航空公司跨联盟的合作也受到诸多的限制。此外,由于同一市场区域内重点建设的航空枢纽通常只有一个,航空联盟内主要成员之间的紧密合作,在一定程度上也阻碍了同一市场区域的其他联盟成员在联盟内的合作。为了突破航空联盟内的种种限制寻求
学位
关键词是文档主题信息的精练表述,借助关键词可以快速地获取文本主旨。关键词被广泛应用于文本主题挖掘、文本分类、文档检索等其它自然语言处理任务。现有的关键词生成方法往往着重于整合文档的深层语义信息,而没有充分利用文档中包含的丰富的辅助信息,比如文档的标题,文档的组织结构等。因此本文在序列到序列关键词生成模型的基础上聚焦于利用文档的辅助信息,对模型添加额外的约束。具体工作包括:融合题目信息的多任务关键词
学位