基于小样本学习和终身学习的因果关系抽取

来源 :吉林大学 | 被引量 : 0次 | 上传用户:yhj740821
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
因果关系抽取是自然语言处理中关系抽取任务中的一类任务。关系抽取是信息抽取的一个重要子领域,关系抽取主要目的是负责识别各种文本中的实体关系。而因果关系抽取,是实体关系中的原因结果关系,本文对文本中的因果关系进行抽取,这有助于提高各种下游自然语言处理任务的效率。并且可以结合知识图谱等相关技术,通过建立因果关系网络,应用到各个领域中。起初人们通过人工构建因果关系模式进行因果关系抽取,这种方法耗时耗力,并不能适应现在信息的爆炸增长。随着深度学习技术的不断成熟,各种神经网络模型的兴起,让因果关系抽取方法有了更多的可能。在进行因果关系抽取的任务时,总会面临数据量小,数据差异大的问题,同时让机器具有智能避不开从小数据上进行泛化学习,以及持续不断的学习。在这种需求下,人们提出了小样本学习和终身学习方法,这是机器向人靠近的一步。通过小样本学习,可以解决因果关系数据量少,难以较好的训练模型的问题。而结合终身学习,也可以解决每次训练都是来自不同领域的数据,互相之间因果形式差异大的问题。本文的创新点是通过结合小样本学习和终身学习提出了一种因果关系抽取模型,用来获取少量标注数据的因果关系数据集上的因果关系,并通过终身学习进行模型能力的提高,来获取更好的因果关系抽取效果。本文在四个数据集上进行实验其中两个是小数据集(Causal TB,Event Story Line)两个是大数据集(Sem Eval2010-task8,Sem Eval2020-task2),以验证本文模型中小样本学习模型的效果。实验结果表明了小样本学习的必要性,在小数据集上我们有40%左右的提升,虽然效果仍比不上在大数据集上的因果关系抽取效果。同时本文通过对几个主流的神经网络模型进行对比试验,并将小样本模型替换为这些主流模型进行对比实验,本文的模型对比LSTM,BiLSTM,CRF,Transformer,Bert模型在大数据集和小数据集上均有不同的提升,这证明终身学习是有效的,能进行更好的因果关系抽取。
其他文献
工业机器人的发展随着中国制造2025的进行也越来越迅速。机器人是新时代发展的一个重要领域,现在是工业生产中使用的一种常见的机械。许多危险、高强度的工作都可以被机器人取代。随着机器人的发展,应用越来越广泛且都趋向于轻便和高效。并联机构在工业机器人的应用中具有越来越大的优势。本文以3-CRCR/CU并联机构为研究对象,分别从自由度分析、运动学分析、工作空间分析以及进行运动仿真分析。本文主要研究内容为:
学位
在深度强化学习的方法中,通常会采用经验回放,目的在于提高数据利用效率并打破经验之间的时序相关性,缓解在复杂任务中容易出现的经验遗忘现象。比较常用的经验回放方法为了稳定性往往会在经验选择阶段采用随机均匀采样的方法,而这种采样形式一方面受经验时序关系的影响,会使得采样不均衡,导致后期经验采样频次过低,不利于提升智能体学习过程的收敛速度。另一方面它忽略了不同经验之间在学习价值上的差异性,无法实现对经验的
学位
在市政建设过程中基坑支护施工是重点内容,能够在市政结构设计和施工方面发挥非常重要的作用。基于此,本文介绍主要的基坑支护技术施工内容,分析市政结构设计和施工在运用基坑支护技术时需要遵循的原则,并以市政工程实例为依据,探讨市政结构设计与施工中应用基坑支护技术的情况。
期刊
兴趣点推荐是随着基于位置的社交网络(LBSNs)的流行而出现,因为各大软件定位技术的开发能找到用户的每一个行为轨迹。近年来兴趣点推荐备受关注,通过将用户和兴趣点联系在一起,为目标用户推送未来可能会签到的兴趣点,可以减少用户选择兴趣点的时间并且更好挖掘人们的生活规律。兴趣点推荐使用了用户之前的访问历史来构造行为轨迹,表示了用户对兴趣点(POI,point-of-interest)的潜在偏好,推荐给以
学位
目的 探讨对精神分裂症暴力行为患者实施行为干预联合心理护理的临床效果。方法 抽取72例精神分裂症患者进行研究,入组患者均为本院2020年12月~2021年12月期间收治的住院患者,患者均存在暴力行为。以随机数表法为依据,对所抽取的患者实施随机分组。所分组数为两组,分别设为对比组和干预组,分别施以常规护理措施以及行为干预联合心理护理措施。比较两组患者外显攻击行为量表(MOAS)、简明精神病评定量表(
期刊
财务标准化管理及财务内部控制是国有企业财务管理的重要工作,同时也是防范国有企业财务风险的有效举措。通过加强财务管理控制、防范各类风险,可保障国有企业快速发展。重点分析国有企业财务管理中采取标准化管理及构建内部控制体系的重要性,同时梳理国有企业财务标准化管理现存问题,并提出相应的对策,推进国有企业标准化管理及构建内部控制体系的进程。
期刊
<正>本文结合笔者的实践经验,介绍了建筑电气安装中强电施工的方法与措施,对于积累建筑强电施工经验、提升强电施工技术水平具有一定的现实意义。1建筑电气安装中强电施工的重要意义强电施工是建筑电气工程中的重要组成部分,是实现建筑各项电气功能的硬件基础,不仅关系到建筑施工质量,还会影响后期使用的安全性[5]。鉴于强电施工的重要作用,在对建筑电气强电部分进行规划设计时,需要充分结合强电施工工程的特征,
期刊
报纸
空指针异常是软件开发过程中一类常见的缺陷,是导致软件运行异常或者强制退出的一个重要原因。Kotlin作为近年来新兴的一门安卓开发官方语言,其自身对空问题有着严格的安全检查。然而,由于Kotlin出现时间较短以及项目的持续开发性,很多项目实际由Kotlin和Java共同开发。当两种语言代码混合时,Kotlin在与Java互操作时会放宽对Java部分所传递信息的空检查,由此将会引发更多的空指针异常问题
学位
在数字化浪潮的新时代,数据规模的爆炸式增长及数据之间愈发复杂的多维拓扑关系,导致难以通过传统图结构进行数据的表征。为了更好地表征数据间的高阶关系,人们尝试将图拓展到超图,利用超图卷积神经网络来处理数据间的高阶相关性信息。虽然近年来基于超图卷积神经网络的研究已经取得了突破性的进展,但考虑到超图的复杂结构和神经网络的固有特性,在将超图与神经网络紧密结合从而设计超图卷积神经网络时,仍然面临如下的挑战:(
学位