【摘 要】
：
文本分类由于能够在有限的时间内快速且准确的获得文本信息的核心内容成为自然语言处理的一个基础方向。但传统的单标签文本分类难以解决现实场景中的文本语义多样性问题,因此,多标签文本分类逐渐成为自然语言处理文本分类任务中的热门研究方向。本文对多标签文本分类任务进行研究,为了充分捕捉文本语义信息构建了层次Transformer-CNN模型;为了学习文本长距离、非连续的语义特征,通过图结构实现文本建模,并采用
论文部分内容阅读
文本分类由于能够在有限的时间内快速且准确的获得文本信息的核心内容成为自然语言处理的一个基础方向。但传统的单标签文本分类难以解决现实场景中的文本语义多样性问题,因此,多标签文本分类逐渐成为自然语言处理文本分类任务中的热门研究方向。本文对多标签文本分类任务进行研究,为了充分捕捉文本语义信息构建了层次Transformer-CNN模型;为了学习文本长距离、非连续的语义特征,通过图结构实现文本建模,并采用层次Transformer进行特征抽取;为了缓解标签类别分布不平衡的问题,对传统损失函数进行改进以提高模型的分类性能。首先,针对自然语言的表达特性,构建层次Transformer-CNN模型分别在单词和句子级别利用多头自注意力机制捕捉文本不同级别的语义信息,并采用句子卷积神经网络抽取重点语义特征。其次,为了捕捉文本长距离、非连续的语义特征,提出基于图的文本建模方法,采用层次图Transformer模型分别在单词和子图级别充分捕捉文本语义特征。再次,针对传统损失函数无法捕捉标签之间的相关性和标签分布不均导致的模型训练不充分的问题,改进传统损失函数。通过融合语义特征和结构特征构建标签的向量嵌入,计算不同标签的相似度,将其引入损失函数中优化模型。最后,对于层次Transformer-CNN模型,分别在RCV1和AAPD数据集做了充分实验验证模型的有效性;对于层次图Transformer模型,分别在RCV1和AAPD数据集上采用基于图的文本建模方法和基于标签相似度的损失函数训练模型,并通过对比传统多标签文本分类模型,证明了本文所提出模型和方法的有效性。
其他文献
软件漏洞预测技术能辅助软件开发和维护保证软件质量。然而,结构复杂且规模庞大的漏洞源码所生成的抽象语法树表示更加复杂,会使基于树的神经网络模型在训练时出现梯度消失或梯度爆炸问题,导致训练效率降低;多向语句树节点数目不同造成编码问题;此外,单一分类器对多类别的漏洞数据预测不够全面。本文就上述问题展开研究。首先,针对漏洞源码的数据表示问题,提出一种DFS-AST语句分割算法。采用动态规划方式将大规模抽象
在实际系统中经常存在着由元件故障、环境的变化、参数的改变和子系统的内部关联变化等引起的结构性改变,这些改变可以考虑用Markov跳变系统进行描述。因此,本文在Markov跳变框架下,研究了基于观测器的Markov跳变系统、Semi-Markov跳变系统以及广义Semi-Markov跳变系统的滑模控制问题。首先,针对具有时变时滞和扰动的非线性Markov跳变系统,研究了基于观测器的滑模控制问题。设计
电动化、智能化是未来汽车技术发展的主要趋势。四轮独立驱动电动车（Four Wheel Independent Drive Electric Vehicle,FWIDEV）因其四轮独立驱动的机械结构特性,具有响应速度快、传动效率高等特点,成为了车辆智能化的主要载体,轨迹跟踪控制系统是其实现智能化的必要条件。然而四轮独立驱动增大了控制设计难度,且需要四轮转矩协调分配,再加上车辆本身存在的参数不确定性,
柔性电子技术作为传感领域的重要组成部分正向可穿戴化、智能化、便携化方向发展。其中电容式柔性压力传感器由于更易集成于柔性设备中而受到广泛关注。柔性传感器现如今面临的主要挑战是灵敏度问题,提高介电层的介电性能是实现高灵敏度电容式柔性传感器制备的关键。研究表明微结构化可以增加传感器压缩过程中有效介电常数的改变,复合活性材料可以提高介电层的介电常数,因此对介电层的微结构化处理和复合活性材料成为当前柔性传感
随着我们国家社会现代化的不断进步和发展,我国人口老龄化程度正在逐渐加深,老年人的居家服务问题也变得愈加严重。另一方面,人工智能技术日趋成熟,促使着机器人向愈发智能化的方向发展,因此用机器人来服务老年人成为一种可行的方案。为了让机器人可以执行人类的指令,必须先让其理解指令的内容,因此研究如何将自然语言指令解析为机器人可执行的机器指令是很有必要的。本文探讨了国内外的研究现状,以家庭环境为背景,将自然语
冷轧板在线检测装置是金属轧制加工生产中的关键设备,板形应力分布的实时检测是保证金属板材生产质量的核心技术之一。目前国内外冷轧板形检测的技术基本采取辊体内预埋电子式传感器,如压磁式、压电式、压应力式等方案。电子式方案具有成熟、成本低的优点,但电子式方案也存在一些走线复杂、受工业环境中电磁干扰的问题。研究新型的冷轧板形检测技术是我国钢铁生产领域的迫切需求,本文在阅读大量专业参考文献的基础上提出了一种将
近年来,随着科学技术的不断发展,现代实际工业系统日趋复杂化,并且对控制系统性能提出了更高的要求。其中极具代表性的P型下三角随机非线性系统的控制问题,受到了国内外学者的广泛关注,由于这类系统对实际工业系统的刻画更加精确,更能体现实际工业系统的本质特征,因此,这类系统的控制设计问题往往是控制理论领域的热点和难点。本文主要采用反步设计法,基于随机系统Lyapunov稳定性理论,研究了P型下三角随机非线性
本文提出了一个以腔量子电动力学（QED）技术为基础的量子信息的多方秘密共享方案，量子通道用的是三原子最大纠缠GHZ（Greenberger-Horne-Zeilinger）态。本文首先考虑了量子信息在三方和四方之间的秘密共享，并将方案推广到了多方情况。该方案不受腔的衰减和热场的影响，并考虑了几种可能偷听下的安全性。
人脸识别作为计算机视觉中一个重要研究领域,在身份识别、智能安防、人脸追踪检测等方面得到广泛应用,但现有的人脸识别算法往往只在单一分辨率图片上实现较好识别效果,在图片分辨率降低时效果显著降低。为得到在不同分辨率图片上均能稳定识别的模型,该文在稀疏表示及深度学习的基础上,提出三种改进的跨分辨率人脸识别算法:首先,针对基于字典学习稀疏表示算法直接将训练样本作为字典原子,未能充分提取训练样本信息的问题,提
岩性识别是油气勘探过程中的重要一环。在测井过程中,由于机器故障或人工操作失误等原因,测井曲线特征数据往往存在连续性缺失问题。另外,由于地质环境复杂多变,岩性数据也常常表现出非均衡特性,这些原因都可能导致岩性识别效果不理想。目前,针对测井曲线特征连续缺失问题,常用的补全方法包括常值插补法和回归插补法等,这类方法并没有充分考虑到测井曲线随深度的变化;针对岩性数据不均衡问题,常用的均衡方法有采样方法等,