基于图神经网络的文本分类算法研究

来源 :西南大学 | 被引量 : 0次 | 上传用户:kooksnake
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本分类是自然语言处理领域的一项关键任务,并被广泛应用于虚假信息检测、情感分析、自动问答等现实场景。传统机器学习方法需要人工提取特征,这种复杂耗时的方案不再适用于当下大量实时涌现的文本流。深度学习的兴起解决了这一问题,能自动处理大量文本信息。但是,基于深度学习的方法局限于文本内部单词交互,忽略文本之间的联系以及单词的全局共现关系,难以解决长距离依赖和非连续性问题。最近,基于图神经网络的方法在文本分类任务上取得了优秀的效果,这种方法不再将文本视为序列结构而是单词的共现集合,利用图神经网络聚合邻居节点的信息实现文本分类任务。本文围绕如何利用图神经网络模型进行文本分类任务展开研究,主要从以下两方面进行:(1)针对文本级图模型难以融合全局信息的问题,提出一种双滑动窗口的文本图构建方法提取单词的全局共现信息,并利用图神经网络模型更新节点表示,实现高效准确的文本分类。大量实验结果表明,提出的方法在多个数据集上都取得了最好的分类效果。首先,设计一种双滑动窗口的构图方法,将单词的全局共现信息融合到文本图结构中。其中,局部滑动窗口在文本内滑动确定单词之间的连边关系,为模型提供单词局部连接信息。全局滑动窗口在文本间滑动确定单词连边权重值,为模型提供单词全局共现信息。然后,利用图神经网络学习单词的低维嵌入表示,通过聚合邻居节点信息和边权重,将局部信息和全局信息充分融合到低维单词表示中。最后,利用注意力机制学习图中单词节点的重要性,并结合最大池化和平均池化将单词嵌入转化为图嵌入,分别从整体和局部的角度充分学习图嵌入表示,实现文本分类任务。(2)针对语料库级图模型难以融合局部语义信息以及实现归纳学习的问题,提出全局结构信息提取策略和局部语义信息提取策略,并在模型损失函数中引入正则化项将两种信息融合,实现具有归纳学习能力的文本分类模型。大量实验结果表明,提出的方法在多个数据集上都取得了最好的分类效果。首先,设计一种全局结构信息提取器,将文本集合转化为异构图模型,并利用多层图卷积神经网络模型学习文档嵌入表示。多层图卷积神经网络模型包含子图卷积神经网络层和图注意力层。子卷积神经网络层聚合邻居节点的信息,图注意力层为更重要的邻居节点分配更大权重。多层图卷积神经网络帮助模型学习高阶的邻域信息,使得文档节点之间也能进行信息交互。然后,设计一种局部语义信息提取器,采用双向的门控循环单元模型对单个文本序列建模。双向门控循环单元分别从前向和后向学习文档表示,使得模型能更好的学习上下文信息。最后,基于对比学习的思想提出一种改进的损失函数策略对模型进行训练。引入相对熵散度,用图卷积神经网络模块输出的概率分布约束双向门控循环单元模块输出的概率分布,并计算两个概率输出的相对熵散度作为正则化项加入损失函数,使得双向门控循环单元模块最终学习到的文本表示既带有局部语义信息也包含全局结构信息。在预测阶段,使用门控循环单元模块对新文本进行分类预测实现归纳学习。
其他文献
随着经济社会和科学技术的不断发展,社会的交互关系逐渐网络化,如从企业邮件转发网络到全球通讯网络,从城市居民出行网络到全球交通网络。这些网络从抽象、具体,以及微观、宏观等多个层面对现实的复杂系统进行描述,因此通过利用网络科学和计算机科学的理论来挖掘复杂系统中的共性特征和潜在的组织结构,为理解复杂而又抽象的现实世界提供了有效的依据。然而,当今社会经济的不断膨胀引起了网络规模的急剧扩张以及复杂化,给网络
学位
作为自然语言处理领域的一项关键任务,实体关系抽取受到越来越多的关注,其目的是从原始文本中获取结构化知识,得到<头实体、关系、尾实体>形式的三元组。提取的三元组被广泛用于知识图谱、智能搜索、电商推荐、问答系统等领域,有着重要的研究与应用价值。实体关系联合抽取利用实体和关系间紧密的信息交互,同时抽取实体以及实体对之间的关系,很好地缓解了流水线方法所存在的错误传播等问题。中英文由于语言之间的差异性,在实
学位
近年来,随着互联网技术的发展以及信息搜集工具的进步,我们的生活已经被各种各样的数据包围。数据信息已然成为了一种十分重要的资源,对人们有着十分重要的意义。如何从海量的,纷繁复杂的数据中提取有用的信息成为了科学界与产业界共同关注的热点。因此,各式各样的数据挖掘方法被不断地提出。聚类,作为数据挖掘领域地一个重要的技术手段,它可以在无任何先验知识的情况下,通过探究数据之间的内在关系来将一组对象进行划分归类
学位
自然界中的事物以不同的形式相互联系着,这种联系构成了一种复杂的系统。如何从这种复杂系统中寻找出其内在蕴含的信息,揭示系统的运行规律,探究事物发展和联系的本质,已逐渐成为科学家的研究焦点。如果把复杂系统中的事物个体抽象为网络中的节点,把事物个体间的关系抽象为网络的连边,那么就可以把复杂系统抽象为复杂网络。随着对复杂网络研究的不断深入,复杂网络的分析方法已渗透到现实世界的各个领域,被广泛应用于社会、交
学位
不管是传统的机器学习,还是现在的深度学习,事件序列预测任务都始终贯穿了它们的发展历程。具体而言,机器学习模型需要从事件序列(Events Sequence)中提取合适的历史信息,并通过这些历史信息得到未来事件的条件概率分布,从而实现对未来事件的预测。一般而言,深度学习使用循环神经网络(Recurrent Neural Network,RNN),或是带有掩盖机制(Mask)的自注意力(Self-At
学位
目标检测和视觉导航是无人驾驶的关键技术。传统的道线检测依赖于特征提取和检测校正,交通标志识别依赖于色彩分析和图像分割,然而道路场景的剧烈变化导致算法的鲁棒性较差。基于模拟的无人驾驶场景,本文探究深度学习模型LaneNet和YOLOv4,以完成智能车的视觉导航与目标识别。针对不同识别任务,文章采取传统视觉与深度学习结合的方式,保证算法的鲁棒性与实时性。在室内模拟场景中,智能车的无人驾驶系统能够准确实
期刊
钟秉林教授的新版著作《高考改革:理想与现实》,聚焦新高考改革,基于访谈和问卷调查等实证研究方法,对新高考改革进行持续的跟踪评估,为推进新高考提供理论支持,是新高考改革研究的重要成果。该书既肯定新高考的成效,也直面问题,为完善新高考提供改革参考。该书所收录的多篇论文曾对新高考改革的政策调整与实践改进起到实质性推动作用,产生了较大的社会效益和学术影响。
期刊
聚类,也称为聚类分析,是最基本和最重要的无监督学习范式之一。它旨在根据数据样本间的相似度情况,将样本划分到不同的簇(组),分配到同一个簇中的样本的相似性高,不同簇中的样本的相似性低。传统的聚类算法仅能从给定的数据中找出一个聚类结果。然而,由于数据采集和存储技术的进步,人们所分析的数据更为复杂,其中可能包含不同种类的异构特征。例如,数据集中的特征可能包含不同量纲的特征或采集自多个来源。这些特征的不同
学位
为提高智能车在不同速度和载荷下的路径跟随精度和稳定性,提出一种基于反馈纯跟踪的智能车路径跟随方法。首先,基于车辆运动学模型和纯跟踪模型分析影响控制效果的因素;然后根据车辆速度和路径曲率动态调整前视距离,将横向偏差作为反馈变量对传统纯跟踪控制方法进行补偿;接着通过仿真试验选定控制参数,分析控制参数对路径跟随精度和车辆稳定性的影响;最后通过实车试验,验证该方法在实车环境中的控制性能。结果表明,该方法具
期刊
共识算法是区块链系统中重要的组成部分,具有维持数据一致性、保障系统安全性的作用,对区块链系统的性能有很大影响。联盟链与公有链相比,节点数量较少并且存在准入机制,因此普遍使用基于投票的共识算法,例如Raft共识算法和PBFT共识算法。Raft共识算法具有通信时间复杂度低、吞吐量高、时延低、可理解性强等优势,极大地提高了对交易的处理能力,推动了联盟链项目落地。然而Raft共识算法仅能容忍故障错误,无法
学位