终身关系抽取方法研究

来源 :四川大学 | 被引量 : 0次 | 上传用户:mulan0924
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
关系抽取旨在识别文本中的成对实体的关系事实,被广泛应用于知识图谱构建和自然语言处理领域。与专注人工设计特征的传统方法相比,基于深度学习的关系抽取方法已取得了显著成果。但是,现有的这些关系抽取方法通常假定待预测的关系类别是一个封闭的关系集合,没有考虑需求的动态变化,不适用于实际的应用场景中。由此引出了对终身关系抽取的研究,也就是说,需要预测的一组关系可能会随着时间的推移而改变或扩大,同时我们无法在每个阶段重新访问所有以前的数据。本文将研究如何在终身学习的场景下进行关系抽取,面临的主要困难是神经模型会有灾难性遗忘现象,即模型在学习新任务时往往会遭遇旧任务性能上的显著下降。为此,终身学习提出不同方法来减轻遗忘,大致可分为三类:一是使用正则化项来防止重要参数值的急剧变化,二是使用内存模块存储少量旧任务数据,与新任务一同训练达到经验回放的目的,三是是采用动态架构,通过保留原有网络结构并且新增层、节点的方式学习知识。这些方法已在简单的图像分类数据集上获得了可观的性能提升,但是事实证明它们在自然语言处理任务中表现不佳。在目前的研究中,还仅有较少的文献讨论了终身关系抽取的方法。通过对现有方法的分析和总结,发现现有研究仍存在三个问题:一是采用动态架构,或者新增网络层的方式进行训练,在过参数化的关系抽取模型中引入了更多的参数,导致模型所需的监督信号、内存资源和计算资源成倍增加。二是在保存少量旧任务样本以供学习时,忽略了对于这些样本的过拟合现象。三是采用固定强度的正则化项来缓解遗忘,缺乏灵活性,难以达到新任务学习和旧任务保留之间的良好平衡。针对上述三个问题,本文提出了基于动态正则化的终身关系抽取模型(DR-EMR)和融合类别区分性的终身关系抽取模型(FT-MR和LM-MR)。论文的主要工作如下:第一,本文提出了基于动态正则化的终身关系抽取方法。该方法将关系抽取建模为句子关系匹配问题,输入为句子关系对,输出的是相应的匹配分数。为了保留已学到的知识,使用两种正则化项,并且设计了一种动态平衡策略,以通过训练损失的变化来自适应地调整正则化项的强度,使新任务学习和旧任务保留之间达到良好的折衷。在不引入更多参数的情况下取得了更好的效果。第二,本文提出了融合类别区分性的终身关系抽取方法。调整模型的训练流程,首先进行新任务学习,然后使用内存数据训练模型。内存数据中各任务样本分布均匀,有助于模型学习新旧知识,缓解对于内存数据的过拟合问题。为了保持关系类别之间的区分性,本文提出两种方法:一是在最后阶段对模型进行微调,以适应类别区分性的目标;二是使用标签映射算法在训练前为各关系类别生成具有一定区分度的表示向量。论文在两个公开数据集上进行实验。实验结果表明,与目前最先进的方法对比,本文模型在Few Rel数据集和Simple Questions数据集上的平均准确率提升了4.9%和0.3%,整体准确率提升了1.4%和2.8%。实验证明了论文提出的模型在终身关系抽取任务上的有效性。
其他文献
抽纸是我们日常生活中最常见的生活用包装纸之一,其中使用塑料膜热封的软包装形式抽纸由于方便携带和价格优势得到了广泛的销售和使用。随着市场竞争日趋激烈以及产业升级对提质增效的强烈需求,软包装抽纸的出厂品质要求越来越高,但是目前国内该行业仍以人工目视检测为主要检测手段,存在效率低,误检和漏检高,无统一的检测标准等问题。为了实现抽纸在包装生产环节的自动化缺陷检测,本文从生产实际需求出发,设计了一个使用了深
随着我国公路里程不断增长、汽车保有量不断增加、道路交通基础设施不断完善,促进了经济发展,为人们出行带来极大方便。然而,快速发展的道路交通给我国带来巨大经济效益的同时也带来了大量的交通事故,其中雨、雾和夜间低照度等恶劣气候环境是重要原因之一。因此本文针对雨、雾和夜间低照度不利行车环境,构建人-车-路协同安全预警系统,建立了车辆在不利行车环境中行驶的事前预防、事中避免和事后道路设施优化完善的交通体系。
氧化铝陶瓷片是军工领域中爆炸箔的重要功能器件,其工作可靠性具有十分重要的意义。由于陶瓷材料本身的结合方式会导致韧性较差,加之后续工艺可能会涉及到的机械冲击、酸碱腐蚀、温度冲击等一系列复杂加工流程,会使氧化铝陶瓷片面临如高强度、脆性大、均匀性差等可能对其工作性能造成影响的问题。为了提高以氧化铝陶瓷片作为关键组成的军工器件的可靠性,需要对成型氧化铝陶瓷片进行加工工艺质量检测。由于氧化铝陶瓷片加工工艺流
从20世纪80年代开始,CAD技术进入了高速发展阶段,其人机结合的设计方法大大地提高了企业的设计效率。连接器作为电器元件间的连接件,起着连接或断开电流或者信号的作用,广泛地应用于各种电气线路中。当企业在运用CAD技术对大量相同类型不同规格的连接器CAD图进行重复性绘制时,绘制过程繁琐复杂、易出错以及耗时等问题就会接踵而至,严重地影响到了连接器CAD图的绘制效率以及企业的经济效益。因此,如何有效解决
液压挖掘机的设计过程则是一个知识密集型的过程,在设计的各个阶段都需要大量的相关知识予以支撑,而这些所需的知识种类繁杂多样且相互关联。然而目前挖掘机的设计工作,依然大量的依靠设计人员自身的设计经验、现有的设计文献等手段进行设计计算,这不仅不利于知识的重用也存在重复计算,工作量大、效率低下等问题。同时,如何有效的管理这些知识,是提高企业创新竞争力的主要研究内容。为了解决以上问题,本文根据液压挖掘机的设
经济与资源全球化现象以及以3D打印为代表的智能制造技术发展使得客户对于零件的个性化定制提出了更高的要求,结合互联制造的时代背景,以网络为基础的协同工作环境也为零件远程定制提供了更多的可能性。基于远程协同的零件定制系统平台应运而生,为客户和企业服务商之间搭建了信息互通的桥梁。目前现有的3D打印零件定制系统平台多数对于普通用户的友好度不够,并且以线性的单向需求传递为基础来进行反馈,缺乏高效率的协同设计
地质灾害监测关键设备及采集数据处理是整个地质灾害监测过程中的关键步骤,其核心是解决地质灾害防控过程中的数据采集、数据传输、数据处理和预警模型的研发。由于地质灾害的监测是一个影响因素众多、监测环境复杂、并且需要进行长期监测过程,所以建立一套高可靠的地质灾害信息化管控系统十分必要。本文主要实现基于GIS的地质灾害监测设备及系统研发。在传感器将数据采集完成后,将数据通过无线传输到四川省地质灾害数据中心。
抑郁症是一种的常见精神疾病,重度抑郁症甚至导致患者自残或自杀,并且自杀事件的发生已开始呈现出低龄化趋势,严重影响个人、家庭和社会。临床证明,提早发现抑郁症并进行有效的心理干预和药物治疗,能够缓解甚至治愈抑郁症患者。然而,抑郁症的病因繁复多样,导致临床诊断困难,误诊、漏诊率较高。临床发现,抑郁症患者在语音、文本、表情、生理等模态的数据上都表现出一定的特异性。针对抑郁症多模态数据,建立计算机辅助诊断模
每年由于人口老龄化、车祸以及肿瘤等引起的严重骨组织病损有上千万例,骨科临床亟需研发具有个性化尺寸特征以及优良骨整合效果的骨组织工程支架。骨组织工程支架的表面是宿主骨组织与植入材料相互作用的重要界面,是成骨细胞黏附、增殖、分化的主要场所,其对骨整合性和骨组织修复重建具有决定性的作用。本文利用选区激光熔化3D打印技术制备具有个性化宏观尺寸特征的骨科植入体,通过调控3D打印中的关键工艺参数,提出一种基于
近几年,人脸图像在视频监控和识别领域的应用越来越广泛,人脸图像数据显得更加重要。在获取人脸图像的过程中往往会产生模糊,其中最常见的是相机与人物之间相对运动造成的模糊,称为运动模糊。产生运动模糊的人脸图像会大幅影响监控与识别的效果。因此,去除人脸图像的运动模糊在计算机视觉任务中有着重要意义。在计算机视觉领域中,现有的人脸图像去模糊算法并没有针对运动模糊问题;而已有的去除运动模糊算法并没有针对人脸图像