基于异构图神经网络模型的文本分类方法研究

来源 :大连海事大学 | 被引量 : 0次 | 上传用户:fsongyifa
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本分类是自然语言处理领域的一个经典任务。随着信息技术的高速发展,复杂多样的文本信息层出不穷,日渐丰富。如何对海量的文本数据进行准确分类,成为目前的研究热点。虽然传统的深度学习方法在文本分类任务上取得了一定的研究成果,但是探索更优越的文本分类方法仍然是研究者需要思考的问题。近期图神经网络进入了研究人员的视野,它在自然语言处理领域的各项任务中都表现出卓越性能。但是图神经网络没有充分考虑包含不同类型节点的异构图,异构图具有异构性和丰富的语义信息,这给图神经网络在异构图上的应用带来了巨大的挑战。此外,图神经网络无法取代传统的深度学习模型,它忽略了文本连续的语义特征和语法信息。针对这些问题,本文做出以下研究:一、由于当前图神经网络构建图的方式无法捕获复杂的结构和丰富的语义信息,本文提出一种新颖的构建方法,使用TF-IDF、PMI以及引入LDA主题模型的方式构建包含文档、单词、主题三类节点的异构图。并且使用异构图卷积,将不同类型节点投影到一个公共空间中。由于图神经网络模型没有同时考虑邻居节点和不同类型节点的重要性,因此无法充分提取异构图的信息。本文构建异构图注意力网络模型,使用类型级和节点级的注意力机制,类型级的注意力机制可以学习到不同类型元路径的重要程度,节点级的注意力机制可以学习到当前节点与其相邻节点的重要程度。最后通过两层网络结构促进信息的流动和聚合。二、由于传统的预训练模型无法解决单词的多义性问题,并且Bi LSTM模型无法区分不同单词对于分类的重要程度,因此本文构建Bi LSTM-Att模型。模型使用ELMo进行预训练,ELMo可以不依赖高性能的设备并且可以根据语境的不同生成动态词向量,解决了单词的多义性问题。此外模型还加入多头Attention机制根据单词的重要程度分配权重。由于Bi LSTM-Att模型可以捕获词序列中连续的语义和语法信息,而异构图注意力网络可以捕获图全局的结构信息,因此本文构建了异构图注意力网络和Bi LSTM-Att的联合模型。联合模型融合了两个模型的优点,提高了分类的准确性。实验结果表明,本文模型在文本分类任务中展现出了较好的性能,充分证明了本文模型的有效性。
其他文献
随着我国经济水平的稳定发展以及城市化水平的不断提升,全国机动车的保有量不断攀升,城市大型停车场出口车辆拥堵,通行效率低成为了亟待解决的问题。2019年5月,交通运输部办公厅印发《关于大力推动高速公路ETC发展应用工作的通知》,截止到2020年底,城市汽车ETC安装率已经达到90%附近。本文根据城市停车场业务需求,设计并开发了一款基于ETC(Electronic Toll Collection)与车
学位
划痕作为汽车损伤的主要表现之一,不但会影响汽车美观而且可能引起钣金件锈蚀。目前汽车表面划痕检测仍以人工检测为主,现有的自动化检测方法尚不成熟,因此针对汽车表面划痕的自动化检测研究具有重要的意义。本文利用图像处理技术对划痕自动化检测问题进行研究,针对检测过程中存在的背景干扰多、传统边缘检测算法效果不理想、划痕特征提取困难等问题,提出了基于图像处理的车辆表面划痕检测方法。主要工作如下:1)基于椭圆拟合
学位
随着内河航运事业的蓬勃发展,在交通运输部政策利好的背景下,内河通航船舶数量及装载量逐年呈上升趋势。通航量的不断增加,对通航速度及效率提出了更高的要求,所以对通航船舶吃水检测系统的环境可适应性和配置轻型性提出了更严格的标准。目前三维动态吃水检测系统安装架存在结构复杂和厚重的不足,针对该问题设计了L型轻型安装架安装方案,但该方案在通航过程中会因吃水检测系统对船舶底部地非完全检测,出现数据不完整的情况。
学位
伴随着社会科技与经济的迅速发展,汽车全面普及,汽车组成结构复杂且功能趋向智能化。由于使用规范性、组件寿命等未知因素,汽车故障类型呈现多样化。传统汽车排故基于维修人员的主观经验对故障现象依次排除,该方法排故效率较差且造成人力资源的浪费,设计相关系统智能诊断汽车故障具有重要应用价值。目前机器学习方法与深度学习方法均可实现汽车故障数据集分类,但机器学习方法存在分类准确率低、效果较差等问题,当前的深度学习
学位
阿尔茨海默症(Alzheimer’s Disease,AD)是目前老年人比较容易患上的神经性疾病,患者将会丧失基本的日常生活能力且无法被治愈。轻度认知障碍(Mild Cognitive Impairment,MCI)是一种介于AD和认知正常(Normal Cognition,NC)之间的症状。MCI作为AD的早期阶段,对预防和干预病情的发展非常重要,因此准确诊断出MCI对AD的早期发现和治疗至关重
学位
随着我国渔业经济的逐步发展,渔业产值的逐年上升,我国众多渔船的安全性受到关注。船舶交通服务系统(Vessel Traffic Service System,VTS)、甚高频数字交换系统(VHF Digital Exchange System,VDES)利用船舶自动识别系统(Automatic Identification System,AIS)等通信设备将在航船舶显示在电子海图上以进行监控和跟踪,
学位
由于船舶自动识别系统(Automatic Identification System,AIS)本身固有的脆弱性问题,非法使用AIS设备的船舶频繁出现,严重影响了船舶航行安全。为保护海上AIS信道,保障AIS信息准确性和可信度,需要针对AIS甚高频数据链路(VHF Digtial Link,VDL)电文进行获取、分析和识别。为此,本文基于AIS大数据的智能分析,构建船舶信息多源识别模型,以剔除虚假信
学位
“十四五规划”加快建设交通强国,对海事信息系统提出新的更高的要求,目前已有的处于独立或半独立状态的海事监控系统已不能满足航运发展的新要求。海事监管系统独立工作造成了系统之间协调性差、数据整合和信息交互能力差,海事监管工作量大、成本高、效率低、违章取证困难,监管人员不能很好地实时掌握海上现场态势和现场船舶状态。所以充分发挥各监控系统优势研发一体化的监控系统意义重大。本文分析了海事监管、海上违章取证、
学位
视觉目标跟踪技术是当前计算机视觉领域中的一个研究热点,随着智能船的发展,视觉舰船目标跟踪技术被认为是智能船视觉感知的基本任务之一,根据海上监视视频进行船舶跟踪可提供各种海上运动信息,这将大大有利于远程海上交通管理和异地执法等。本文先对长期相关性跟踪(LCT)算法进行尺度估计和特征提取方面的改进,然后将改进后的算法应用在舰船目标跟踪场景下,依据舰船场景的特点对算法做进一步改进,使跟踪算法在舰船场景下
学位
高光谱遥感是将成像科学和光谱分析相结合的多维信息获取技术,高光谱图像提供丰富的目标光谱和空间信息,为民用和军事等领域中的图像分类问题带来了新的技术突破。实际应用场景中,高光谱遥感成像技术存在以下问题:一是高光谱数据呈现高相关性、冗余问题,二是空间信息利用不足问题。本文针对高光谱图像分类面临的问题,开展基于稀疏活跃度的高光谱图像谱空分类方法研究。首先在光谱信息处理层面,基于表示模型的分类过程进行研究
学位