【摘 要】
：
文本分类作为自然语言处理领域中的一项基本任务,对文本信息的挖掘意义重大.文本分类主要包括单标签文本分类和多标签文本分类.现今随着互联网产业的快速崛起,网络信息的表现形式更加丰富多样,分类粒度也更加精细,如何有效地挖掘互联网中繁复的文本信息则成为现今研究的热点.在这样的时代背景下,传统的单标签文本分类显然已不能很好地满足需求,因而对多标签文本分类的研究就显得尤为重要.多标签文本分类是自然语言处理任务
论文部分内容阅读
文本分类作为自然语言处理领域中的一项基本任务,对文本信息的挖掘意义重大.文本分类主要包括单标签文本分类和多标签文本分类.现今随着互联网产业的快速崛起,网络信息的表现形式更加丰富多样,分类粒度也更加精细,如何有效地挖掘互联网中繁复的文本信息则成为现今研究的热点.在这样的时代背景下,传统的单标签文本分类显然已不能很好地满足需求,因而对多标签文本分类的研究就显得尤为重要.多标签文本分类是自然语言处理任务中重要的研究方向之一,在垃圾信息分类、搜索推荐、聊天机器人、口碑分析等领域中应用广泛,具有广阔的前景.ALBERT预训练语言模型自提出以来,因其性能强大、结构简洁而逐渐成为自然语言处理领域研究和应用的热门模型之一.在多标签分类任务中,其下游任务常用的是CNN、全连接层等.针对这些模型存在的准确率不高且无法获取标签顺序等问题,本文创新性地将Seq2Seq-Attention模型引入到ALBERT模型中,提出了基于ALBERTSeq2Seq-Attention的多标签文本分类模型.该模型将多标签的组合理解为一句话,利用ALBERT模型来更好地提取文本特征,以融合注意力机制的Encoder-Decoder架构为下游任务完成标签抽取,既考虑了标签之间的相互影响,又可以获取标签顺序,最后在推理过程中引入集束搜索来扩大搜索域,提升了分类的准确率.为了检验本文提出的模型的可行性,将ALBERT-Seq2Seq-Attention模型与ALBERT模型、ALBERT-TextCNN模型在电商评论数据集上进行多标签分类对比实验.结果表明,ALBERT-Seq2Seq-Attention模型在精确率、召回率和准确率方面均优于ALBERT模型和ALBERT-TextCNN模型,由此证明了ALBERT-Seq2Seq-Attention模型的优越性.
其他文献
随着信息化和智能化在工业生产过程中的不断推进,云计算和万物互联的时代加速到来,越来越多的工业过程的海量运行数据可以通过“工业云”储存。为了保障工业过程安全可靠的运行,急需基于大数据分析的工业过程监测方法,即故障检测、分类和辨识方法。因此,基于数据的故障检测、分类和辨识方法是当前工业界的重要需求,也是近年来学术界的研究热点和难点之一。本文研究了基于机器学习的工业过程故障检测、分类和辨识方法,具体内容
质子交换膜燃料电池（Proton Exchange Membrane Fuel Cell,PEMFC）是一种在较低温度条件下工作,能将氢气化学能直接转化为电能的能源转换装置。PEMFC具有转换效率高,工作温度低,工作噪声低,排放无污染的优点,是未来固定式发电和载具能源的一种优质方案。然而,寿命衰减是限制其应用的一个主要原因。在应用场景中变化的负载以及不当的操作对PEMFC的寿命有很大影响。因此,从
城市路网犹如城市的“毛细血管”,是支撑城市社会经济活动的重要基础设施,对生产要素的流动、城镇体系的发展有着决定性的影响。对城市路网进行合理的建模,是研究城市路网、指导路网的规划的基础。目前主要的两类路网建模方法是矢量化建模和栅格化建模。前者可以计算路网任意节点对之间可达性的精确值;后者以栅格区域为基本单元,可以看成矢量模型的一种近似,尽管存在计算误差,但是能够融合非路网覆盖区域进行可达性计算。本文
可见光遥感图像舰船目标检测在民用和军事领域都具有重要意义。本文以大幅面高分辨率可见光遥感图像为研究对象,开展星载舰船目标检测系统设计。星载舰船目标检测系统面临算法精度与速度矛盾、资源需求与供给矛盾,针对上述问题,本文从算法设计、部署优化、硬件设计等方面开展研究,本文主要工作如下:算法设计方面,针对遥感图像面临的复杂环境干扰与目标特性变化导致的舰船目标检测任务高虚警与高漏检问题,本文提出基于全卷积神
人手姿态估计是计算机视觉领域的重要组成部分。随着深度学习的发展,基于单目RGB图像的三维人手姿态估计算法也取得了显著进展。主流的方法通常使用卷积神经网络从输入中提取相关特征,并从这些特征中回归出三维人手关节点。本文从如何更好地利用先验信息的角度,对基于深度学习的单目RGB图像三维人手姿态估计算法展开了研究,针对现有算法存在的一些问题提出了以下改进。如何有效地引入人手的结构信息是这一任务的一个重要问
机器人技术是未来新型产业的高新技术之一。通过使用移动机器人代替人工作业,可以解放人力,同时避免一些未知的危险,保障人类安全。本文针对缺乏先验环境知识的工作任务,研究了多移动机器人系统的编队遍历探测路径规划,实现对环境的详细探测。首先,通过未知环境路径规划算法规划机器人的移动路径,结合建图算法获取未知环境的粗略地图。分析了基于Frontier的边界探索和基于RRT的边界探索这两种未知环境探索方法的优
IT运维服务人员调度问题主要考虑如何安排现有的运维人员,快速、有效地对故障进行处理,从而尽量降低故障产生的影响。其中,每个任务有不同的释放时间、截止时间、重要程度以及紧急程度,而运维服务人员具有异质性,可以完成的任务、完成各任务的时间以及单位工作成本都不同。这些情形在现实工作中大量存在,而理论研究尚存在不足,研究相应的服务人员调度问题具有现实意义和理论价值。本文讨论两类IT运维服务人员调度问题,建
路网属于关键基础设施,是维持国家经济运转和人们日常生活不可或缺的部分。然而,路网由于分布广泛,穿越了许多不同的自然地理区域,很容易遭受各类自然灾害（如地震、洪水、泥石流等）的影响。在这些灾害中,滑坡、泥石流等地质灾害是路网面临的主要威胁。实证研究表明,在世界范围内,泥石流发生的频率及强度将持续增加。如何提升路网应对泥石流灾害的韧性,降低泥石流对交通系统的影响,引起了政府和学术界的高度关注。目前,相
人体解析是计算机视觉领域中一种复杂而精细的语义分割任务,是针对图像中的行人进行详细图像理解的关键步骤之一。近年来,随着深度学习的应用越来越广泛,在人体解析方面也取得了很大的进步。但是面对人体姿态的多变、服饰的多样以及复杂的场景这些情况,常用的仅依赖于语义分割模型的方法不再能达到人体解析任务所需的效果。区别于语义分割任务,人体解析需要对“人”这个特定对象进行信息分析与理解,其中对人体的各个细粒度部件
红外弱小目标检测是从红外图像中快速准确地提取感兴趣的弱小目标的过程,在军事侦察、灾害搜救等军用和民用领域具有广泛应用。近年来,基于深度学习的通用目标检测方法发展迅速,性能超越传统方法。但是,直接用于红外弱小目标检测性能有限。究其原因,红外弱小目标面积小、特征少,难以直接通过大数据学习到目标特征。本文针对天基空间目标监视应用,基于全卷积神经网络U-Net框架开展红外弱小目标检测深度学习算法研究,具体