基于预训练迁移策略与融合实体描述的中文关系抽取研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:h872889544
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网信息的快速增长,每天都有大量的文本以新闻文章、研究出版物、博客、社交媒体等形式生成。这些文本中蕴含着大量的信息,从这些文本中自动提取信息成为当前研究热点。这些提取到的信息不仅可以提升人们对隐藏在大型文本语料库中的知识进行管理的能力,而且还可以用于自动问答、信息检索等应用的开发。关系抽取是信息抽取中的一项重要技术,具有十分重要的研究意义和研究价值。关系抽取任务的目的是为给定文本中的实体对指定一个正确的关系类型。在实际应用中,上下文中不存在关系的实体对即负实例的数量远远超过其他实体对即正实例的数量。本文通过对现有中文关系抽取数据集的进行分析,发现关系预测产生误差的主要原因之一是负实例与正实例之间的分类错误。此外,现有的中文关系抽取研究大多采用基于字符或是基于词的方法,这些方法存在信息利用不足或分词的错误传播问题。针对上述问题,本文提出一个融合预训练迁移策略和Flat-Lattice编码的PTF-Lattice模型。预训练迁移策略首先通过设计一个二分类任务对数据进行预训练,随后将预训练的共享层参数迁移到最终的关系抽取任务上对模型进行初始化,通过这种方式增强模型对负实例和正实例的区分能力。Flat-Lattice编码方法则将词级别的信息融合到字符序列中从而避免分词错误,同时还优化了位置编码方案以捕获输入序列中字符、词汇及实体之间的依赖关系。在关系抽取任务中,部分工作通过将实体描述信息、关系描述信息等外部知识融入到模型中以提升关系抽取的性能。考虑到这些方法简单的获取实体描述信息,通过随机挑选或是选择使用频率最高的词条信息作为外部知识进行补充,忽略了目标实体可能存在的一词多义现象。这种方式虽然简单,但是可能会为模型引入噪声,并不能起到补充信息的重要作用。因此,本文引入了实体信息融合模块,结合外部知识库与百科网站来获取目标实体的一词多义描述信息,并通过注意力机制对外部知识进行筛选。本文在三个不同领域的中文关系抽取数据集上进行了实验,实验结果验证了本文所提方法的有效性。
其他文献
三周期极小曲面(Triply Periodic Minimal Surface,TPMS)点阵结构具有轻质高强、比表面积大、连通性好等特点,可广泛应用于轻量化设计、缓冲吸能、高效热传导以及生物医疗等领域,近年来受到大量国内外学者的关注。由于均质点阵结构往往难以满足结构与功能需求,因此在实际应用过程中常需要对点阵结构进行功能梯度设计。目前,对于功能梯度TPMS点阵结构力学性能的研究主要集中于密度梯度
学位
我国新生代农民工日益庞大,为城市建设和社会发展做出了重大贡献,是推动新型城镇化的生力军。新型城镇化的首要任务是实现农民工市民化,农民工市民化又建立在农民工有留城意愿的基础之上。住房问题是影响农民工群体留城与否的最基本因素,在租房高区隔化、商品房低可及性、单位住房锐减的现实情况下,保障性住房是农民工特别是新生代农民工较为现实的选择。因此,探讨保障性住房对新生代农民工群体留城意愿的影响效应,分析其间的
学位
传动系统是直升机的关键部件,其性能对于直升机的重量、航程等指标有着重要影响。然而,由构型选择、组件选择、参数设计、约束确定、设计方法不完整等组成的传动系统设计问题,严重制约了我国直升机及其传动系统性能提升与技术发展。鉴于以上存在的问题,本文依托某预研背景项目,针对常规单旋翼、共轴双旋翼直升机传动系统的构型方案设计开展了如下研究工作:(1)进行直升机传动系统的图论模型设计——利用图论方法建立传动系统
学位
近年来随着我国电子信息技术的发展,家用电器产品更新换代速度加快,产品使用周期的缩短加速了废旧家电产品的产生,据相关资料预测,2020年末全国废弃家电总量为1.6亿台。由于废旧家电产品的经济资源性和环境危害性,必须科学合理地对废旧家电产品进行回收处理。然而现阶段废旧家电产品回收基础薄弱,回收处理过程粗放不规范,缺乏行业标准管理,不良的回收行为导致资源再利用效率低,对生态环境和人体健康造成严重危害。因
学位
大型桥梁在建设和长期使用的过程中,会受到各方面因素的影响,发生不同程度的位移,当位移量大于其所能承受的临界值就会发生坍塌,造成不可估量的经济损失和人员伤亡。因此,针对大型桥梁进行有效的形变监测至关重要。现有的监测手段存在实时性差、灵活性低、成本高昂,监测距离有限等问题。为此,本文针对桥梁远场位移监测的需求,提出了一种远距离转发式位移雷达方案,并对该方案进行设计和实现。雷达系统采用C波段作为工作频段
学位
连续血压测量是评估人体心血管系统健康状态、预防控制高血压的重要手段之一,但现有连续血压测量方案存在束缚性或需要其他监测方式配合的不足,并不适用于长时间的动态血压监测,而基于心冲击图(Ballistocardiogram,BCG)的血压测量方式具有无束缚且信号监测稳定的特点。因此,为提升血压测量精度,扩宽血压测量应用场景、实现无束缚连续血压测量而进行基于BCG信号的血压测量研究是具有一定意义的。本文
学位
许多实证研究表明个体在进行风险决策时往往会偏离期望效用理论预期,Bordalo、Gennaioli和Shleifer(2012)(以下简称BGS)提出的突出理论从决策者的有限注意出发,为这些违背期望效用理论的现象提供了新颖且合理的解释框架。突出理论认为,决策者不可避免地存在有限关注,决策时只能将有限的注意力分配到所在情境中最不寻常、最突出的属性上,并赋予较大的决策权重,从而影响其决策行为。理论上,
学位
在建筑工程的建设实际中,经常出现的问题是工程项目中的结算超过预算,预算超过概算等问题,这类问题产生的主要原因还是在于没有把握好整个建筑工程项目的造价,这就使得在工程项目竣工之后出现财政方面的矛盾,从而引发多方面的纠纷。为了有效减少和避免这类问题的发生,就需要加强建筑工程的前期咨询,前期咨询不但会涉及到建筑工程的项目策略研发阶段,在施工阶段对工程效益也有着极大的影响。本文主要就是对前期咨询建筑项目的
期刊
能源是经济社会发展的重要基础和动力,也是碳排放最重要的来源。通过科技创新提高能源利用效率,优化能源结构,减碳增汇,对于确保能源安全,促进碳达峰碳中和目标如期实现具有及其重要的意义。生物质作为一种储量丰富的清洁能源,受到了广泛的关注。煤和生物质协同利用是一种非常有前景的缓解能源和环境问题的方法。本文选用优质煤(C3)和劣质煤(C7)与松木屑作为研究对象,研究了煤脱灰对煤燃烧特性及其结构的影响、处理工
学位
随着社会发展水平的不断提高,人们的生活方式和对生活质量的要求也发生转变,传统的旅游产品和旅游方式已经不能满足大众需求,所以逐渐开始在旅游过程中融入文化元素。正因如此,文旅融合成为顺应历史潮流的必然发展趋势。2018年3月,国家旅游局与文化部合并,意味着我国文化旅游产业进入新阶段,“文旅融合”一时间成为社会关注的热点,这为地区旅游高质量发展奠定了良好的基础。淮安旅游资源丰富,文化特色鲜明,文旅融合对
学位