基于小样本学习的关系抽取研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:dorothyhe
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度学习的概念一经提出,便引发了人工智能领域的发展狂潮,尤其在自然语言处理领域中,其影响极其深远。对于自然语言处理任务而言,仅依靠传统模型与数据标注结合的方法无法做到语义的精准理解。想要准确深入地理解语义,必须将先验知识融入到自然语言处理任务中。实践证明,知识指导的自然语言处理是未来发展的必由之路。随着研究的深入,知识图谱得到了广泛的应用,尽管如此,知识图谱依然面临着覆盖度不完整等问题。为了提高知识图谱的覆盖度,并为其添加更准确的知识,研究者们提出了关系抽取的方法,该方法旨在识别并抽取实体对之间存在的语义关系。当今的实体关系抽取的主流方法是依赖大规模的数据,但由于长尾分布问题是关系和实体对之间普遍存在且尚未解决的问题,使得在关系抽取问题上缺乏大量的有效数据,而训练神经网络却需要大量的有效数据,这就导致了在训练数据较少时神经网络模型的性能会受到极大的影响。因此,当训练数据较少时,可以将关系抽取视为小样本学习任务。小样本学习任务是受到人类“闻一知十”的学习能力的启发,进而可以让关系抽取模型也获得见微知著的学习能力。将小样本学习引入到关系抽取模型中,模型就能够从训练过的数据中获取有用的先验知识,并将其与新的数据相结合,最终使计算机和人类一样具有“举一反三”的能力。本文将小样本学习与关系抽取相结合,利用神经网络模型在少量的样本数据上抽取出给定实体对之间包含的语义关系。对于小样本关系抽取问题,本文添加多层级的自注意力机制对传统的归纳网络进行了改进。首先,本文提出了多层级自注意力机制,包括实例级别和任务级别的注意力机制,可以对支持集进行调整进而获取在支持集和查询集之间的高层级的信息;其次,将归纳网络和自注意力机制进行融合,采用以注意力机制为基础的动态路由算法来表示与查询集相关的类别表征,构建了Improved Induction Network with Hierarchical Selfattention Scheme模型;然后将模型应用到Few Rel数据集,并经过实验验证了多层级的自注意力机制对模型性能的影响;最后与传统的归纳网络以及其他小样本关系抽取模型进行对比,最终的结果表明本文的模型是可适应的,并且取得了良好的效果。
其他文献
电力事业的良好发展,促使社会更加注重电力系统其本身的安全稳定运行状况。对于电力系统的结构运行提出更加严格的要求,基于实际而言,在电力系统的日常运行工作方面面临着严重的外界干扰问题,需要应用更加先进的科学技术解决这一问题才能够形成安全运行效果。因此,该文对基于电力系统的自动化设备中应用到的电磁兼容技术进行研究。
期刊
深度学习的发展为社会带来了巨大的进步,在语音识别、图像处理、语言翻译、恶意软件检测等方面发挥重要的作用。对抗样本攻击是一种针对深度学习图像识别任务的恶意攻击,攻击者通过向输入图片中添加人类肉眼观察不到的恶意扰动,导致图像识别模型对图片分类错误,这种添加过恶意扰动的图片被称为对抗样本。对抗样本攻击会影响模型正常使用,对深度学习发展构成严重威胁。本文对现在主流的对抗样本防御方法总结梳理发现,许多防御方
学位
根据矿用液压支架立柱在井下轴向和切向受力及磨损的工作特点,该文对矿用液压支架立柱基材27SiMn钢的硬度和耐磨性进行实验探究分析,并利用激光熔覆技术在27SiMn钢表面改性。激光熔覆搭接实验在单道熔覆实验基础上进行,熔覆搭接第二道时,基材温度已经升高,实验条件与单道实验略有不同。在液压支架立柱基材27SiMn钢表面进行一系列激光单道熔覆实验,对比单道熔覆层厚度、摩擦磨损实验及硬度等检测结果,找到合
期刊
目前,知识图谱(Knowledge Graph,KG)作为知识的结构化表示引起了研究人员的极大关注。知识图谱表示学习(Knowledge Graph Representation Learning,KRL)旨在学习一个准确的、富含语义信息的知识表示。目前的KRL方法仅仅考虑了KGs中结构信息和其他语义信息(描述信息、图像信息等),对实体属性信息应用不充分、不全面。此外,属性信息通常是复杂、异构、多
学位
互联网的产生让人们能够在随时随地获得需要的信息或者分享有用的信息,因此随着互联网不断发展,信息规模成长到了人们难以筛选的量级,因此如何在海量的信息中提取到有用的信息具有十分重要的研究价值。问题生成作为自然语言处理中一项具有挑战的任务,旨在根据给定的文本以及目标答案生成合适的提问。该任务能够自动地扩充问答数据集,在阅读理解等多个领域都有着重要作用,并且也可以给对话系统提供冷启动话题。因此,如何提高问
学位
动载作用下岩石的破坏规律研究对于众多地质灾害的机理分析和预防具有重要的理论及实际意义。鉴于数值模拟研究的优势,应大力发展适于岩石动力断裂过程模拟的数值方法。在自主开发的拉格朗日元与离散元耦合连续-非连续方法的基础上,采用朱-王-唐本构模型取代了广义胡克定律,发展了考虑动力本构的连续-非连续方法,其正确性通过模拟不同加载速度下砂岩试样的单轴压缩实验进行了验证。采用考虑动力本构的连续-非连续方法开展了
学位
我国大部分地区煤碳质地致密,随着能源抽采进入深部区,瓦斯突出等现象越发严重,深部瓦斯抽采也遇到了前所未有的困难,煤体自身的物理性质,包括节理结构、含水饱和度、所受围压及外界环境温度等是影响煤层气存储能力和渗流能力的主要因素,本文针对现有提高煤储层渗透性实验方法的优缺点,利用液氮作为制冷液、低温保存箱创造低温环境,以辽宁省阜新盆地长焰煤为研究对象,利用物理增透的方式,开展了低温冻融作用下不同节理煤岩
学位
液压支架立柱的泄漏是导致液压支架失效的主要原因之一。立柱挂液是泄漏的一种特殊形式。依据液压支架φ450 mm立柱的产品结构及3种厂家的密封结构分析,从增大密封过盈量、密封槽加工等方面提出解决立柱挂液问题的对策,可有效减少立柱挂液的发生,为解决立柱挂液问题提出新思路。
期刊
随着煤炭行业的持续发展,三下压煤问题对煤炭开采的影响日益严重,而分层充填开采是一种有效解决厚煤层三下压煤问题的重要技术手段。但由于分层充填开采方法较为特殊,且开采过程中会受到充填材料放热和充填体孔隙结构的影响,导致煤层和充填区内部瓦斯渗流和涌出规律十分复杂。为了探究使用分层充填法采煤过程中煤层瓦斯渗流及涌出规律,以高河能源3#煤层E1302工作面为研究背景,通过理论分析、现场试验、数值模拟相结合的
学位
随着地下煤层开采深度增加,岩层控制难度加大,区段煤柱受到水的物理化学作用,在开采作用下易发生失稳,造成生命财产损失。因此,开展在采动作用下含水区段煤柱的稳定性研究,对煤矿的安全生产具有重要理论意义和实际应用价值。以实际煤矿开采工作面为背景,对不同含水率型煤试件进行单轴压缩及巴西劈裂实验,利用尖点突变理论与有限元数值模拟分析方法,对采动作用下含水区段煤柱的稳定性进行研究,主要工作与成果如下:(1)通
学位