基于深度强化学习的文本实体关系联合抽取研究

来源 :华侨大学 | 被引量 : 1次 | 上传用户:cm__
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
实体和关系的抽取作为自然语言处理中知识抽取的主要环节,是一大研究热点。然而传统的基于流水线的实体关系抽取方法并不能达到良好的效果,现有的联合抽取方法通常需要复杂的特征工程。本文研究基于深度强化学习的文本实体关系联合抽取,提出基于参数迁移学习的实体关系联合抽取预训练方法和基于深度策略梯度的实体关系联合抽取模型。论文的主要研究工作和创新内容如下:1)基于参数迁移学习的实体关系联合抽取预训练方法研究本文首先采用基于共享参数的迁移学习算法实现对实体关系联合抽取的预训练,采用两种共享参数预训练技术-共享词向量参数和共享LSTM联合抽取器参数。该方法提出最新的结合实体位置信息的ALBERT词向量嵌入以构建共享词向量参数;抽取部分数据构建LSTM模型,将预训练的权重矩阵共享到参数相同的LSTM联合抽取器中。融合这两种共享参数技术用于后续的实体关系联合抽取。2)基于深度策略梯度的实体关系联合抽取模型研究本文在基于参数迁移学习的实体关系联合抽取预训练方法的基础上,提出基于深度策略梯度的实体关系联合抽取模型研究。本文首先将经过预训练方法的LSTM联合抽取器得到的输出值作为本模型的动作值。其次初始化强化学习模块中的目标网络-训练器,并打乱袋子顺序;通过基于策略梯度的强化学习算法来计算每一条语句即状态的奖励值,由策略梯度算法定义目标函数以期待总奖励最大化;由策略梯度算法定义优化函数以更新模型的参数,直至回合训练数结束。最后,对模型进行超参数的调优训练,设置参数值,直至模型收敛,生成最终的实体关系联合抽取方案。本文在公共数据集和医疗文本数据集上对以上方法和模型进行了测试,实验结果表明了基于深度强化学习的实体关系联合抽取方法的有效性,并且能够更加紧密应用实体和关系之间的信息,更好地预测复杂文本的实体及其关系,能有效提高实体关系抽取的效率。
其他文献
随着我国市场经济与公司内部治理制度的发展,行使用人单位部分指令权的公司高级管理人员(以下简称公司高管)数量不断增加,但我国劳动法仍将公司高管不加区分地整体纳入其保护
实体链接是指将文本中的实体指称映射到知识库实体的过程,其在知识图谱、知识融合领域都是关键的步骤之一。针对长文本领域中基于图的实体链接算法存储空间大、运行时间长的
文本分类是自然语言处理领域最基础、最常见的任务之一,也是很多其他任务的前置模块。通过文本分类可以将有价值的部分粗略的筛选出来,摒弃掉其他的部分,得到较为可用的数据
2018年两会政府工作报告提出“发展壮大新动能”、“为数字中国建设加油助力”;十九大报告中提出“高质量发展是我们当前和今后一个时期确定发展思路、制定经济政策、实施宏观调控的根本要求”。当前,数字技术与各产业深度融合,互联网平台为各领域数据流通提供了高效便捷的传输通道,数字经济已成为推动传统产业转型升级、区域经济增长的核心动力。本文基于已有学者的研究,首先界定数字经济的内涵和特征,分析数字经济对经济
目的:检测肝硬化患者血清高尔基体蛋白73(GP73)和糖类抗原125(CA125)的表达水平,并探讨其与肝硬化Child-Pugh分级的相关性及对肝硬化的诊断价值。方法:1.选取皖南医学院第一
制药工业与人类生命健康息息相关,维生素E作为一种大宗的原料药,其生产过程常伴随着大量的醋酸废水溶液产生,直接排放导致醋酸资源浪费,并且造成严重的环境问题。本文对比研究了当前的醋酸水溶液处理方式,其中萃取精馏法具有产能较大、能耗较低、萃取剂可以反复使用等优点,因而被本文所采用。首先,论文采用Aspen Plus模拟软件,根据醋酸水溶液的特性,并结合前人的文献模拟经验,选择以NRTL-HOC为物性方法
近年来,由于诸如环境问题和可用化石燃料的枯竭等原因,可再生能源发电引起全球关注,这其中太阳能是最容易利用的能源。然而,由于光伏系统的功率输出取决于太阳辐照度和天气条件,因此辐照度的变化会导致光伏系统输出功率出现大幅波动,从而导致在多云这样的天气条件下,公共耦合点的电压和电流出现大幅波动,并产生较严重的谐波失真。而且,这样的输出功率波动会给电力系统带来严重的影响。太阳辐照度变化带来的功率波动,在接入
在高氮含能化合物快速发展的今天,双环三唑被认为是可以改善单三唑环的能量性质,生成更高密度、更好稳定性、更低感度和更好氧平衡的高氮含能化合物。本论文通过双环三唑的多个化学修饰位点,引入硝化高能基团(如:硝基、硝氨基、三硝基甲基);或通过引入N-氧化物的方法;同时利用桥连基团改善化合物的正生成焓,提高爆轰性能。研究内容主要分为以下三部分:(1)基于双(1-硝胺基-3-硝基-三唑)的理论研究利用双环三唑
α-酮异戊酸(α-ketoisovalerate)作为一种支链酮酸,是重要的医药中间体,被广泛应用于合成临床药物α-酮酸片,治疗尿毒症。利用代谢工程策略构建α-酮异戊酸合成重组菌株,实现α-酮异戊酸高效合成,势必促进其商业应用。本文在大肠杆菌中,通过协调α-酮异戊酸合成途径中的三个关键基因的表达、删除其竞争代谢途径编码基因、协调辅酶循环,实现了α-酮异戊酸的高效发酵合成;进一步通过设计和构建氧调控
辽西北地区降雨空间分布不均匀,降雨量少且蒸发量大,植被覆盖度低,水分渗漏问题极其严重。因此,开展辽西北风沙地土壤入渗特征研究,对于揭示土壤水分入渗过程、提高水资源利用效率、植被恢复及土地调整与合理利用等方面具有重要意义。本文以辽宁省沙地治理与利用研究所章古台试验站所在风沙地为研究对象,采用野外采样、野外双环入渗、室内理化性质测定、数据处理与统计分析等多种研究手段,分析土壤物理性质变化特征及其空间变