基于提示学习与原型网络的小样本关系分类方法研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:liuyun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
关系分类旨在确定一个句子中给定两个实体之间的关系类型。目前有监督的关系分类方法需要大量提前标注的数据,而基于远程监督的方法能通过自动对齐语料库的知识来扩展数据量,但是会出现明显的长尾分布问题。因此,如何利用尾部的少量样本完成关系分类成为任务的热点,也是本文的主要研究方向。目前大多数研究都是采用预训练模型结合微调(Fine-tuning)的方式,但是随着模型参数的增多导致微调的过程需要大量的时间和数据支撑。在基于提示学习(Prompt Learning)的关系分类方法中,大多数模板中的答案搜索空间里都预先提供了数量有限的蕴含丰富语义和先验知识的关系标签词,当遇到新的关系类别时,难以在词表中找到新的合适标签词。原始的原型网络中每种类别的原型是取同类别样本特征向量的均值得到的,这忽略了样本之间的差异。针对上述问题,本文提出了基于提示学习与原型网络的小样本关系分类模型。本模型首先构建自动学习模板,然后将模板与输入句子拼接,利用预训练模型Ro BERTa提取文本特征,最后基于原型网络进行关系预测。本文主要做出了以下改进:首次将提示学习应用到小样本关系分类任务中,充分利用预训练模型的能力;提出构建虚拟标签词的方法,摆脱了预训练模型中词表和人类自然语言的约束;为了精确划分嵌入空间的关系类别,提出了基于逆多二次函数的样本权重分配方法,构建更有代表性的原型;引入对比损失函数,学习支持集样本间的相似度信息,增强模型聚类能力。在具体实验中,本文使用了小样本关系分类领域中常见的Few Rel 1.0和Few Rel 2.0数据集,以及关系分类领域中广泛使用的NYT-10和Sem Eval-2010 Task8数据集。实验结果表明,本文的模型通过提示学习有效利用了预训练中学习到的知识,提高了小样本关系分类任务中的准确率。此外,本文分别对模型的各组成模块进行了多组消融实验,进一步验证了各模块的有效性。
其他文献
纳米酶,能够模拟天然生物酶催化活性,是可以在一定程度上替代天然酶的功能的一类纳米材料。与天然的生物酶相比较,纳米酶可以通过改变粒径大小,改变材料形貌,使用小分子修饰材料表面,掺杂金属和非金属等方式来提高其类酶活性。并且纳米酶在复杂环境下耐受性更强,具有比较好的稳定性,能够多次重复使用,在生物分析传感、离子检测、环境保护、免疫检测、肿瘤治疗等领域得到了大量的应用,这些优势使得纳米酶研究受到了科研人员
学位
由冠状病毒所引发的人类疾病,特别是自2019年底爆发并至今大流行的由严重急性呼吸系统综合症冠状病毒2(新型冠状病毒)所导致的新型冠状病毒肺炎(COVID-19),对人类公共健康造成严重威胁。目前人类解决COVID-19大流行的主要方案之一是接种疫苗。然而,随着新型冠状病毒变种的不断出现以及疫苗的有效性和保护的持久性等问题,疫苗可能无法很好地发挥其作用。因此,寻找抗冠状病毒(特别是新型冠状病毒)的特
学位
发光金属有机骨架材料(Luminescent metal-organic frameworks,LMOFs)是极具潜力的发光材料,具有快速响应,检测限低,选择性好等特点,在化学传感领域表现出广阔的应用前景。直接使用的LMOFs材料通常无法满足对分析物的检测需求,此时功能化的LMOFs材料走进大众视野,特别是可以在不破坏框架结构的前题下引入新的功能位点或基团的后合成修饰(Post-synthetic
学位
当前国内高速公路均建有完善的视频监控系统,如何利用高速公路监控图像来识别天气,对于交通监控管理部门及时采取应对措施减少交通事故,具有十分重要的意义。迄今为止,国内外对天气识别算法均针对一般户外场景,无法直接运用于高速公路场景,关于高速公路图像天气识别算法的研究非常少。本文在构建高速公路天气图像数据集的基础上,充分利用卷积神经网络的强大识别能力,提出了两个基于卷积神经网络的天气识别算法。论文主要内容
学位
粘度是人体细胞内最重要的微环境之一,细胞内的粘度是细胞健康状态的重要指标,它影响着细胞内物质的扩散、大分子间的相互作用、信号传递等重要生理过程。线粒体是细胞能量的主要来源,在细胞有氧呼吸中起着重要作用。一些刺激会引起线粒体微环境如粘度、p H和极性的改变。线粒体粘度的异常变化已被证实与某些疾病有关。因此,监测细胞线粒体内粘度的改变在生物化学、细胞学和临床医学等领域具有重要意义。传统的粘度测量工具只
学位
在当今社会汽车保有量剧增以及相关事故频发的大背景下,人们对智能交通管理系统提出了更高的要求。而车辆颜色作为视觉信息中重要的表达形式,在交通调查和车辆管理等系统中都起着不可替代的作用,如何高效、精准地进行车辆颜色识别已经逐渐成为计算机视觉领域中的热门研究方向。同时,车辆检测作为识别车辆颜色的重要前置步骤,是否能够有效地检测出车辆区域,将直接影响到对车辆颜色识别的成功与否。随着机器学习技术的不断成熟,
学位
作为人机交互的重要方式,对话系统对于人工智能领域的发展具有重要的研究意义和应用价值。开放领域上的智能对话系统可以参与任何话题的交流,做出自然且逻辑通顺的应答。本文围绕“新话题引导”和“内容一致性”这两个问题展开研究。“新话题引导”可以提高对话的趣味性和交互性,而“内容一致性”有助于建立稳固的交流关系。两者相辅相成,共同作用于开放域智能对话系统的打造。针对“新话题引导”问题,本文提出了一种话题引导型
学位
3-取代3-氨基羟吲哚骨架是多种天然产物重要结构片段,这些化合物显示出广泛的生物活性和药物活性,例如抗肿瘤、抗病毒和抗焦虑活性。因此,近年来,3-取代3-氨基羟吲哚衍生物的不对称合成受到广泛关注。此外,吲哚框架作为生物学重要的结构单元,其生物活性和药用价值促进了其在合成方法学中的发展;其中,将具有独特的物理和生物学特性的含氟基团—三氟甲基引入到手性羟吲哚衍生物中,对于具有药物活性吲哚衍生物的合成和
学位
在移动互联网高速发展的当今时代,随着移动应用的蓬勃发展,各种新业态逐渐催生。自动驾驶、短视频与远程办公等应用的出现也逐渐对图像处理等领域提出了新的要求。彩色图像分割作为一种已经研究多年的计算机视觉领域,也随着不同应用需求的提出与计算技术的提升而更新迭代。本文研究主要集中于对彩色图像分割算法的优化。在彩色图像分割问题中,主要以传统非监督型图像分割算法为主。传统非监督型图像分割算法是一种比较底层的图像
学位
一直以来,爆炸物的滥用给国家与社会安全均带来巨大的威胁,虽然目前对典型的硝基芳香类爆炸物(例如TNT)的检测技术日趋成熟,但对新兴的过氧化物类爆炸物的检测仍是一项艰巨且有意义的挑战。过氧化物类爆炸物中应用最广、危害最大的当属三过氧化三丙酮(TATP)。由于TATP没有紫外吸收与荧光发射,其化学结构中也没有硝基与苯环,因此缺乏有效的检测手段。TATP的稳定性极差,在实验室中无法安全制备与长期保存,易
学位