基于注意力机制的多标签司法文本分类算法研究

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:bjyoung
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网的蓬勃发展推动各行各业都产生翻天覆地的变化,司法领域也同样如此。司法文本数量的快速增长促使着更高效的分类技术出现,这有助于对司法资源的合理利用。一篇司法文本可以同时属于多个类别,这就涉及到了多标签分类问题。传统的方法往往着重关注待分类的文档,导致标签语义信息利用不足、标签关联性挖掘不充分,同时,没有考虑到不同标签侧重关注的文本内容不同。针对上述的问题,本文提出了一种基于注意力机制的多标签文本分类算法模型,通过引入标签的语义信息、捕获标签之间的高阶相关性,并结合注意力机制,为每个标签学习蕴含语义信息、关联性信息的特定文档表示,实现了标签信息与文档信息之间的交互,从而获取更丰富、更全面的文本特征并用于最终的分类。首先,对于司法文本以及标签语义信息,本文均采用先进的BERT预训练语言模型获取各自的词嵌入表示,通过将它们表示在同一个向量空间中,从而建立了司法文本以及标签语义信息之间潜在的语义关联。相比静态文本表征方法,BERT模型可以通过双向Transformer编码器获取具备上下文信息的动态文本表征,因此能有效解决一词多义的问题。接着,在标签关联性提取模块中构建标签共存图,使用结构深度网络嵌入方法对标签共存图的全局结构以及局部结构进行建模,从而挖掘了标签之间高阶相关性。随后,在全局上下文特征提取层中,通过Bi GRU对司法文本向量进行特征提取,并将提取到的文本特征输入到标签语义信息注意力(Label Semantic Information Attention,LSIA)模块以及标签关联性注意力(Label Correlation Attention,LCA)模块中。LSIA和LCA均采用了注意力机制,聚焦特征中的关键信息,分别捕获到标签语义信息感知的文本特征以及标签关联性感知的文本特征。并在双重注意力特征融合层对LSIA模块和LCA模块得到的特征采用向量拼接的方式进行融合,为每个标签学习到蕴含了语义信息以及关联性信息的特定文本表征,最大程度地保留了标签携带的先验知识,并建立了标签与文档之间的交互。最后,将融合后的特征输入到标签输出模块中,通过全连接层以及Sigmoid激活函数,完成最终的多标签分类。本文在Multi-CAIL2018数据集上开展了实验,包括:消融实验、特征融合方式实验以及对比实验,从而对本文提出的模型的总体性能以及LSIA模块、LCA模块、特征融合方式的有效性进行验证。实验结果表明,本文提出的模型在微平均F1值、宏平均F1值以及综合F1值上分别达到了94.32%、31.13%以及62.73%,均优于基准模型,由此证明了本文提出模型的有效性。
其他文献
随着高频通信技术的发展,对于频率更高的电磁波的研究与拓展逐渐成为众多科研工作者关注重点。近几年来,太赫兹技术由于其高信噪比、高穿透性、高相干性等特点成为研究热点,但太赫兹波段的器件与应用还相对较少。另外,三维光子晶体的制备难度随着革命性的增材制造技术——三维打印工艺的发展而逐步降低,其中网格结构由于具有力学的自支撑性、结构的多样性和三维打印的友好性受到强烈关注。本论文基于两种立体网格结构,采用光固
学位
第一部分 嵌合抗原受体T细胞治疗复发难治性淋巴瘤的安全性及有效性分析目的:1.探索本中心CAR-T细胞在复发难治性淋巴瘤患者中产生的安全性及有效性。2.探讨影响CAR-T治疗复发难治性淋巴瘤患者疗效及安全性的相关因素。方法:2017年03 月至 2020年09月期间经过筛选符合纳排标准的CD19/CD20/CD22/CD30阳性复发、难治恶性淋巴瘤患者,在接受氟达拉滨联合环磷酰胺预处理后第三天接受
学位
随着电商的兴起,传统百货零售面临着更加激烈的市场竞争,零售商因为市场竞争积压了更多库存。为应对当前零售行业的市场现状,尾货折扣产品零售商应运而生,满足了不同市场风险下供应链和消费者的需求。与此同时,消费者的购买选择愈发丰富,消费者的策略性行为对零售商的收益影响越来越大,研究消费者预期行为的重要性凸显。零售商通常会采用更多样化的促销策略来减少消费者策略等待和后悔心理,本文创新性在跨期销售和退货策略实
学位
随着数字化转型升级和消费边界的拓展,通过“渠道整合”创造竞争优势、谋求高质量发展受到了国内外各行业品牌商的重视。多渠道的购物环境为消费者提供了很多的购物选择,也为企业带来了渠道冲突和竞争。对于服装品牌而言,线上渠道以其方便快捷的购物体验为消费者所青睐,但线下体验作为消费者购买决策的重要因素也十分重要。在此背景下,通过跨渠道整合实现渠道间优势互补十分必要。文章将以服装品牌为研究对象,探索跨渠道整合对
学位
突发事件对各个行业的供应链都产生着巨大的冲击,如本次新冠疫情就造成了众多供应链的不畅甚至中断,严重影响了社会经济的正常发展。突发事件通常会给供应链企业带来供应扰动甚至中断的风险,因此决策者在突发事件下会选择保留后备供应商,且在不同情形下会具有不同的风险厌恶态度;除此之外,供应链上的成员会隐藏私人信息以获取更多的收益,使得供应链存在信息不对称的现象,进一步降低供应链的绩效。因此,突发事件下考虑供应中
学位
随着二手车限迁政策的全面取消,我国二手车市场正迎来巨大的发展机遇。然而当下我国二手车交易市场却面临“柠檬市场”萌芽的问题:消费者与二手车销售方之间信息不对称,致使市场中产生信任赤字,进一步导致劣质品充斥市场,优质品被逐出市场。这毫无疑问会制约我国二手车市场发展潜力的进一步释放。因此,打破这种信息不对称的局面,构建一套透明、合理的二手车定价机制就显得尤为必要。本研究主要基于人人二手车网的二手车交易数
学位
城市化进程速度的日益加快与城市人口激增导致乡村土地资源被攫取,植被减少,土壤向不透水层表面转化,产生了许多乡村环境问题,例如生境退化、环境污染、交通拥挤、绿色空间的缺失等。乡村环境在居民的日常生活中扮演着越来越重要的角色,其中绿色空间是乡村环境的重要组成部分,能协调自然与人类之间的关系。绿道作为一种线性绿色空间,在自然区域保护和改善人类游憩质量方面发挥着重要作用。贵阳市花溪区绿道建设是花溪区推进全
学位
权威作为一种约束性力量,它可以引起人们的信服和遵从,对于秩序的维护发挥着重要的作用。如果没有各种类型的权威指导着人们的生活和工作,社会就会陷于混乱的、无序的处境。在教师权威基础上,本文聚焦于班主任权威运行问题的研究,是因为班主任制度作为我国特色的教育制度使得班主任权威比一般教师权威更具丰富的内涵。班主任作为学校开展教育教学活动的专业人员,除了教授所任学科以外,还要进行班级管理及德育工作等,是班级的
学位
本研究是对大学新生社会支持和学校适应的关系研究,并在此基础上通过书写表达的方式干预大学新生的社会支持,探索提高其学校适应的可行性。当前的社会发展迅速,竞争日益激烈,这种新的格局使当代大学生面临着新的挑战,每年都有部分本科学生因无法很好的适应大学生活,出现各种学业问题和心理问题,导致无法顺利完成学业,这对个人和家庭以及国家都是较大的损失。社会支持是个体在所处的社会环境中受到的各种帮助和支持,包括物质
学位
当前我国居民的消费不断升级,使得对规范化物业服务的需求随之扩大,推动物业服务业有序健康发展、实现物业服务的快速发展,事关城市安全和社会和谐。但房屋作为一种特殊属性商品,具有价格贵、周期长等特点,业主与物业之间长期相处,导致矛盾频发,维权的声音日趋激烈。在此背景之下,建立一套完善科学的理论指导企业提升物业服务水平,缓和业主与物业之间的矛盾显得尤为迫切。本文以YT物业公司为分析案例,在对现有研究资料进
学位