融合元学习和注意力机制的网络节点分类研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:akuan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图深度学习模型近年来取得巨大成功,这很大程度都要归功于大数据的训练。经典的图数据挖掘通常采用表示学习方法,即将图数据中的节点和关系输入到图深度学习模型中获得包含图数据信息的嵌入向量,然后对该向量进行相关操作,完成图数据上的下游任务。然而当图上的数据集过小,图深度学习模型的性能会急剧下降,这使得对图数据的挖掘与分析变得相对困难。随着元学习的兴起,出现了将元学习应用于解决图数据挖掘少样本问题的少数算法。经典元学习算法在元训练阶段中所有元训练子任务的损失是等权重更新元学习器的参数,这意味着元训练子任务是等权重传递信息给元测试子任务。然而通常情况是,两子任务越相关,则该子任务传递的信息对另一个子任务更重要。因此,等权重显然是不合理的。基于此,本文将注意力机制融入经典元学习框架内,然后使用优化后的元学习框架解决网络节点分类任务。首先,本文详细定义了在节点分类任务上的元学习过程,阐明了对原始数据集使用基于单节点采样方式的节点分类子任务划分会破坏图的局部边信息的问题。因此利用子图能保存图数据的局部信息,提出了对原始数据集使用基于子图采样方式的节点分类子任务划分。然后,针对经典元学习的元训练过程中所有元训练子任务对元模型的更新是等权重的这一问题,引入注意力机制,利用多个元训练子任务传递给元测试子任务的信息不均等这一特性,使用欧式距离、cosine相似度、KL散度等方法捕获元训练子任务与元测试子任务之间的数据节点特征差异,使用结构相似度捕获元训练子任务与元测试子任务之间数据子图的结构差异。计算元训练子任务传递的信息权重,使用该信息权重对元训练的外循环更新过程进行加权,完成对经典元学习框架的优化。最后,使用优化好的元学习框架在以子图方式划分好的数据上完成少样本网络节点分类任务。实验在Cite Seer和Cora数据集上进行,并采用节点分类的精确度对模型的效果进行验证,本文模型同时与经典节点分类算法以及经典元学习框架下的节点分类算法进行比较。此外,本文也对同在优化的元学习框架内不同的GNN节点分类模块进行实验结果比较。实验结果表明,与其它经典算法相比,本文模型在Cite Seer和Cora数据集的相同少样本设置下取得了最优的效果。本文模型在优化的元学习框架内,相较于GCN和Graph SAGE节点分类模块,GAT模块在少样本节点分类任务上取得了最优的效果。
其他文献
沿空留巷对于提高矿区煤炭采出率、延长矿井使用年限、减少巷道掘进量及防治瓦斯灾害具有重要的意义。针对坚硬顶板条件下,综采工作面沿空留巷出现的采空区顶板难垮落、动压扰动大、围岩应力集中的现象,导致留巷巷道围岩变形难以控制,以忻州窑矿8318工作面沿空留巷为工程背景,开展了现场调研、岩石力学测试、理论分析、数值模拟及现场工业性试验等工作,对坚硬顶板切顶留巷围岩支护控制技术进行了研究,主要研究成果如下:(
学位
<正>心脏磁共振(CMR)灌注在缺血性疾病的诊断中具有重要作用,被广泛应用。随着各种灌注技术以及后处理方式的不断发展,心肌灌注成像从一个定性评估心肌微循环障碍的技术发展到一个精确量化的技术,并且实现了半定量到全定量的发展。在各种可能导致心肌微循环异常的疾病中均有应用,同时为临床了解疾病进程、指导治疗及评估预后提供更多可用的影像学信息。本文主要针对CMR灌注定量评估在心脏疾病中的研究应用及进展做一综
期刊
高铁列车振动作为一种可重复使用的绿色环保震源,对进行地质勘探、地下结构反演等工作有着重要的意义。高铁列车行驶时产生的振动波在地下介质中传播时,由于介质的吸收衰减作用,导致观测到的高铁列车振动信号的振幅、波形等都会发生复杂变化。本文通过在高铁线路附近的空旷场地布置传感器采集高铁列车产生的振动信号数据,对实测高铁列车振动信号采用三种不同的时频分析方法对信号进行处理,通过对比时频分析结果选定改进广义S变
学位
表面缺陷分割是指对物体表面的气孔、划痕等各种缺陷进行提取的过程。表面缺陷分割能够指导工业生产和检修,有效防止残次品流入市场。磁瓦是各种工业电机中的重要部件,它的性能很大影响了电机的使用。由于原料、工艺等各种原因,生产出的磁瓦表面可能会出现如气孔、破碎、裂缝、磨损、不均匀等各种缺陷。目前,这些缺陷大多依靠人工目视检测。但是,由于工作量大,耗时长,工人很难快速正确的检查磁瓦质量。鉴于深度学习在计算机视
学位
时序预测是一项重要的研究课题,在金融、医疗、气象、交通运输、电力调度等民生领域有着广泛的应用,因此,对于时序预测相关问题的研究一直是学者们关注的热点。从早期的基于统计理论的时序预测方法研究,到21世纪初,基于传统机器学习方法的时序预测方法逐渐发挥其性能和优势,再后来,随着计算机算力的大幅提升和深度学习理论的发展,利用基于深度神经网络的模型进行时序预测成为了新的研究热点。然而,在小样本时序预测场景下
学位
针对利用DSC曲线研究煤氧复合反应的阶段划分、热量变化及产物生成路径等方面存在定义表述不够系统,TG和DSC耦合分析不够深入等问题,利用TG/DSC/MS联用技术,开展惰气和空气氛围下不同升温速率煤氧复合全过程的测试与分析。实验表明:基于DSC划分法可将煤氧复合全过程划分为水分蒸发及气体脱附吸热阶段、化学吸附和缓慢反应放热阶段、煤热解生成活性基团放热阶段和挥发分与固定碳燃烧放热阶段。通过特征温度的
期刊
Npm(Node Package Manager)作为JavaScript语言的软件包管理器,管理着超过250万的开源第三方库——npm包。由于缺少合适的分类方式,海量的软件资源面临着管理与检索的难题。在开发者分享和交流npm包的开源社区中,自定义的标签在描述包功能的同时也起到了一定程度的分类作用,然而当前的标签机制存在着内容混杂、同义词表述形式不同等问题,无法满足管理与检索的需求。不仅如此,np
学位
爆破振动作为最主要的爆破危害之一,需要严格控制和准确预测。本文以武家塔露天煤矿爆破开采为背景,以西部边帮到界安全开采为目的,利用现场实测数据,采用不同的非线性预测方法对西部边帮的爆破质点振速峰值进行预测,为今后该区域的爆破参数设计提供参考和支持。通过对武家塔露天煤矿岩体爆破产生的振动进行长期监测,获得多组现场实测数据,利用最小二乘法对萨道夫斯基公式进行拟合分析,并采用高程修正公式对正高程台阶的爆破
学位
相对非结构化的信息,规则的结构化信息更容易被机器使用。因而,化信息非结构化为结构化的信息抽取技术是一项值得深入研究的工作。关系抽取是一种提取结构化信息的任务,它面向已经被标记好的实体对,依据文本句子特征判定两个实体间的语义关系。近些年来,基于深度神经网络的方法在关系抽取任务中取得了不错的效果。但是,随着神经网络方法的精度不断提升,关系抽取任务消耗的成本也日益增加。为了缓解这一现象,本文将研究的重点
学位
时代在发展,科技在进步,越来越多的新技术、新材料、新工艺应运而生。天线是接收或者是在发射系统当中,应用固定方法进行发射或者是接受电磁波的主要部分,其中扮演着重要的角色,无论是在发射信号还是在接收信号的过程当中,天线都能够将自己的作用发挥出来,呈现出更好的工作效果。因此,文章主要对民品电磁兼容测试用天线的应用以及技术进行仔细的分析,希望能够为相关关注人员起到一些参考和帮助。
期刊