【摘 要】
:
多标签文本分类任务存在难以从文本信息中提取标签关联的判别特征,建立标签相关性困难等问题。现有方法主要采用基于RNN的序列生成模型来建立标签高阶相关性,但缺乏对文本语义信息的充分利用。为此文章提出基于Transformer解码器的序列生成模型,使用标签嵌入作为查询,通过其多头自注意力机制建立标签之间的高阶相关性,并利用多头交叉注意力子层从文本信息中自适应地聚合标签相关的关键特征。文章的注意力权重可视
【基金项目】
:
四川省科技创新人才项目(2022JDRC0009);
论文部分内容阅读
多标签文本分类任务存在难以从文本信息中提取标签关联的判别特征,建立标签相关性困难等问题。现有方法主要采用基于RNN的序列生成模型来建立标签高阶相关性,但缺乏对文本语义信息的充分利用。为此文章提出基于Transformer解码器的序列生成模型,使用标签嵌入作为查询,通过其多头自注意力机制建立标签之间的高阶相关性,并利用多头交叉注意力子层从文本信息中自适应地聚合标签相关的关键特征。文章的注意力权重可视化实验表明,序列生成Transformer在建立标签相关性的同时,能够更全面、更深层次地考虑文本和标签之间的语义相关性。与传统RNN类模型相比,序列生成Transformer在分类任务中兼具有效性和可解释性,并在AAPD和SLASHDOT两个数据集上取得了更优的结果。在AAPD数据集上分别取得了70.49%的Instance-F1值和52.04%的Label-F1值,比以往分类效果最好的set-RNN模型分别高1.44%和1.83%。
其他文献
<正>《3—6岁儿童学习与发展指南》明确指出:“应当为幼儿提供良好的阅读环境和条件,激发幼儿的阅读兴趣,培养阅读习惯。”我园以全阅读理念为基础,将阅读活动贯穿在环境创设、一日生活和主题教育活动之中,为幼儿打造立体、丰富、无边界的阅读空间,通过师幼互动、亲子互动、同伴分享等方式,让阅读丰富幼儿的精神世界,滋养幼儿茁壮成长。
构建上中下游全产业链,促进传统产业转型升级,是落实乡村振兴战略,实现农村三产深度融合的重要方式之一。该文基于当前全球葡萄酒产业链融合现状,通过考察国内外葡萄酒全产业链运行状况,对比分析法国、美国、澳大利亚与我国葡萄酒全产业链发展存在的共性和差异,并针对国内葡萄酒全产业链未完成集约化与一体化、市场竞争缺乏规制、产业布局不尽合理、人才培养相对滞后等问题,借鉴国外葡萄酒全产业链先进经验与融合特色,提出优
目的:通过分析脓毒性休克致急性肾损伤(acute kidney injury, AKI)患者从AKI到持续肾脏替代治疗(continuous renal replacement therapy, CRRT)开始时间对病死率的影响,以期找到启动CRRT的最佳时间。方法:回顾性分析2020年7月—2022年6月新疆医科大学第一附属医院急诊重症监护室(EICU)脓毒性休克合并AKI接受CRRT的152例
作为中国航天事业的继承者与传播者,航天企业肩负着展示国家综合国力、传播航天文化的历史使命。航天企业的特殊性质决定了其在品牌传播过程中,势必会在社会大众心中形成国家层面的符号意义。然而,长久以来航天企业色彩的神秘,使公众缺乏对航天文化的了解,航天知识素养缺失。如何通过品牌传播,在展示国家形象、传播航天文化的同时,打造企业自身的核心竞争力,积累企业品牌无形资产是航天企业亟待解决的问题。在品牌建设与传播
<正>五十多年来,航天科技七院努力践行以国为重的价值理念,出色完成了国家重大工程任务。在航天“三大精神”、新时代北斗精神、探月精神和中国航天企业文化体系的孕育下,几代四川航天人筚路蓝缕,艰苦奋斗,以汗水浇灌梦想,用成功铸就辉煌,为航天科技七院的高质量发展打下了坚实的基础。在创造辉煌业绩的同时,四川航天人积极探索、
目的 :探讨体外血浆脂蛋白过滤(DELP)治疗急性脑梗死的临床疗效。方法 :23例符合诊断标准的急性脑梗死患者先行西医常规治疗,再行DELP治疗,比较患者DELP治疗前后的美国国立卫生研究院卒中量表(NIHSS)、血脂水平及纤维蛋白原(FIB)指标、改良Barthel指数(MBI)变化,以及治疗后90 d随访患者改良Rankin量表(mRS)评分。结果 :治疗后,患者血脂水平、FIB较治疗前明显改
本文按三个时间段分别汇总了中国葡萄和葡萄酒地理标志的情况,并进行系统分析。结果显示,全国葡萄和葡萄酒地理标志共计165个,分布在27个省市自治区的134个区域(包括跨省、跨地区市、县市区或乡镇)。其中,北方各省份葡萄与葡萄酒地理标志有108个,而黄河流域及黄河故道地区有70个,该区域也是酿酒葡萄和葡萄酒地理标志集中分布区。分时间段来看,2013—2017年葡萄与葡萄酒地理标志总数快速增加,而最近5
<正> 医学辩证法是近年来新兴起的一门学科。它的研究对象是渗透在医学领域中的哲学思想。它的研究目的,是希图从哲学的高度总结、概括医学知识,以便进一步促进医学的发展。现代医学发展到今天,许多问题(如针麻原理的研究、气功的研究、生命现象的研究等等)已经突破过去的传统观
癫痫是一种常见的神经系统疾病,病因复杂,发病机制尚未明确。为规范抗癫痫发作药物(antiseizure medication,ASM)不良反应的管理,中国抗癫痫协会青年委员会联合中国抗癫痫协会精准医学与药物不良反应监测专业委员会组织制定了“抗癫痫发作药物不良反应管理指南(2023)”,对于ASM在神经精神系统、心血管系统及胎儿方面的不良反应管理,解答了13个临床问题,以期指导我国各医疗机构的癫痫专