基于注意力机制融合的多重图表示学习方法

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:jiangyongan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多重网络数据表示了实体之间复杂的多样性联系,在社交领域、生物医学领域、电力交通领域等一系列的领域中广泛存在着。图表示学习,也称为网络表示学习,旨在将图上的拓扑结构信息嵌入到向量空间中,把每一个节点表示为低维分布式的实值向量。图表示学习能够更加有效地解决节点分类,链路预测等任务,因此受到了越来越多研究者的关注。在多重网络数据中,不同关系(不同层)的拓扑结构在不同方面刻画了实体与实体之间的联系。为了更加全面地对节点进行有效的表示,挖掘出其中蕴含的更多潜在信息,需要对不同关系(不同层)的拓扑结构特征提取的同时,考虑如何有效地对不同关系上学习到的特征进行融合,形成一个综合性的表示。本文提出了一种基于注意力机制融合的多重图表示学习方法,MultiAttGCN。注意力机制的引入有效地量化了不同关系(不同层)的重要程度。注意力机制能够动态地为每个节点在不同关系上的表示向量分配权重,然后通过权重值将不同关系上的向量线性组合起来,作为节点的综合性表示向量。方法可以总结如下:首先,使用图卷积网络在不同关系的网络拓扑结构上学习相应的潜在信息。其次,通过注意力机制对不同关系上学习到的节点表示向量进行融合。最后,结合一个全连接的神经网络,分别基于链路预测和节点分类任务构建目标函数,训练整个模型的参数。在八个不同领域的数据集上与两个单层图表示学习方法(node2vec,Deepwalk)、三个多重图表示学习方法(MNE,OhmNet,MultiVERSE)在链路预测和节点分类任务上进行比较。实验结果表明,在链路预测上,MultiAttGCN在5个数据集中的AUROC值最高。总体而言,比两个单层图表示学习方法的AUROC值平均提升了最高45%的准确性,比三个多重图表示学习方法的AUROC值平均提升了最高14%的准确性。另一方面,在两个有节点类别信息的数据集上进行了节点分类的任务。MultiAttGCN在F1指标上能达到0.95以上,同时在一个数据集中表现效果优于其他方法。最后,在构建的多重随机图上进行节点分类任务,并对注意力分布使用统计检验,验证了方法的有效性。
其他文献
脑疾病严重威胁着现代人的身体健康,医学影像技术可以提供大脑的结构和功能信息,对于各类脑疾病的诊断和研究都具有重大意义。本文的研究课题来源于与唐都医院神经外科联合研究的项目,包含脑肿瘤图像分割算法设计和药物成瘾患者在脑深部刺激下的脑电分析实验两个任务,主要研究内容和创新点如下:(1)提出了一种基于网络自调节策略的脑肿瘤分割算法。由于脑肿瘤中的水肿区域体素数量远远多于核心区域,不同肿瘤区域的体素数量极
学位
近年来,随着深度学习的发展,利用深度神经网络对手写体文字进行风格识别相较于传统的图像处理方法具有识别速度更快、准确率更高的优势。当前主流的离线手写体笔迹风格识别方法在针对中文、英文数据集时,需要基于段落、页面级的含有较多文字的图像进行风格识别,才能达到令人满意的效果。但是,在公安、刑侦和司法等领域中可用文字样本较少、内容差异巨大等应用场景时,当前方法识别效果非常不理想。面向实际中存在的这个问题,本
学位
集中供暖系统在中国北方城市是十分常见的,在寒冷的冬天可以持续为城镇楼宇提供热量。随着物联网,大数据等技术的发展,供热公司在供热管道和小区住户的室内安装温度传感器,实时监测整个供热系统的温度变化情况,一方面可以评估现有供热策略的好坏,另一方面通过采集到的历史数据可以对未来的室内温度进行预测,可以更好的对供热温度进行控制,从而减少热损失,达到节能减排的效果。现有的时序预测模型依赖比较充足的训练数据,而
学位
微服务架构已成为互联网发展的关键技术,给软件生产关系带来革命性的发展,它将大型复杂软件系统分解为许多松耦合的微服务,对分解后的微服务通过服务治理技术进行管理,有效提高系统的可扩展性和稳定性。但随着系统的演进和微服务拆分粒度的细化,微服务的规模呈爆炸式增长,出现服务发现时延长、服务容错效果差、服务维护成本高等问题,导致服务治理技术成为微服务架构系统发展的瓶颈。本文主要研究微服务架构体系中服务治理技术
学位
作为数据分析中的一项基本功能,时空范围查询能够给数据分析者提供更丰富的分析手段。空间范围查询功能是对分布在各个区域内数据进行分析的一种手段,时间范围查询功能则能够对于特定时间段中的数据进行查询。然而,目前很多数据中包含用户的敏感信息,在查询的过程中可能会造成用户的隐私泄露,因此导致很多用户不愿分享自己的数据。目前虽然有工作对隐私保护的范围查询进行了研究,但现有的隐私保护的空间范围查询方案都只支持规
学位
电子信息产业的飞速发展对半导体器件的性能提出了更高的要求,例如,大功率、高速半导体器件要求具有低的导通电阻、高的反向击穿电压和较快的响应速度。除了这些基本特性要求,非常规极端环境下(高温、高压等)的应用场景对器件可靠性及寿命提出了更高的要求。以GaN和Si C为代表的第三代宽禁带半导体材料具有高禁带宽度和高迁移率的优势,所制备的大功率器件在高温、高压等极端环境应用上表现出高性能。与Si C材料相比
学位
科技期刊作为科研成果的重要载体,是体现科技创新成果、传播科学方法和服务社会发展的重要平台。尽管一些代表性期刊如《遥感学报》《光子学报》在互联网媒体融合时代取得了转型升级的良好效果,但总体上,我国科技期刊发展还是呈现“小、散、弱”的形态。我国科技期刊的传播渠道大多还停留在自建网站或App的阶段,访问量不尽如人意。如何利用计算机前沿技术,整合现有的期刊媒体资源,帮助期刊社寻找受众,从期刊社角度实现论文
学位
在高频高压大功率等电子电力器件领域,Ⅲ-Ⅴ族氮化物半导体因拥有较宽的禁带宽度、高击穿电场和极化效应等优点,得到了广泛的应用。在Ⅲ-Ⅴ族氮化物半导体中,GaN材料和器件的研究现最为成熟,而现如今氮化铝(AlN)材料和器件的研究方向主要集中在制备工艺,AlN器件方向尚有些许空白。其中的铝镓氮(AlGaN)可视为GaN与AlN的过渡材料或二者的三元合金化合物,因此其禁带宽度、击穿场强等各项性质可根据Al
学位
氮化镓(GaN)作为宽禁带半导体材料,具备超高的电子迁移率,且介电常数小、击穿电压大,因此在集成电路领域内成为研究热点,有着广泛的应用前景。尤其是AlGaN/GaN SBD,因其较高的开关频率、较低的开启电压、以及极化效应产生的高浓度二维电子气,使其有望成为高性能直流(DC)和射频(RF)功率二极管的理想器件[1]。尽管上述提到的二维电子气沟道中电子理想迁移率能达到2000 cm~2/(V·s),
学位
scRNA-seq(单细胞RNA测序)作为一种能够将测序分辨率精准到个体细胞的测序技术,对揭示细胞异质性具有重要作用,细胞身份的识别也对下游的分析有很大贡献。对单细胞进行聚类,主要是通过对单细胞基因表达的相似性进行识别。单细胞数据具有高维度、高稀疏性的特点,针对这些特点,已经有大量的单细胞聚类算法产生,在聚类的准确度方面已经取得了很好的成果。但随着单细胞数据规模的不断增长,对单细胞数据聚类算法提出
学位