图卷积神经网络的拓扑限制研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:show800811
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图卷积神经网络(Graph Convolutional Networks,GCN)是一种新兴的高效且有效的网络表征学习技术,目前正在被研究者们所广泛的研究着。然而已有GCN方法往往受限于网络拓扑的同质性假设,即邻居结点的特征被期望更加相似。但如果网络拓扑不符合该假设,则节点将会聚合过多噪音特征,导致节点表征无效。最近也有一些研究者来尝试解决上述GCN的拓扑限制,然而这些方法主要是通过如何修正或更好的利用网络拓扑进行有效特征传播,却难于从本质上解决该问题。针对上述缺陷,本文尝试从横向和纵向两个角度开展研究。首先我们发现,由于图卷积神经网络的拓扑限制,导致其无法像经典卷积神经网络那样有效的扩展到深层次,这意味着图卷积神经网络无法学习到网络的高阶特征。本文分别从微观和宏观角度分析了该问题的成因,并基于马尔科夫动力学的视角,给出了一种利用“扩张-膨胀”机制,对特征的同质性部分增强,非同质性部分削弱的图卷积神经网络。该方法从纵向上缓解了图卷积神经网络的拓扑限制问题。并通过实验验证了该模型的有效性。其次,网络中往往包含有大量的文本信息,文本中单词的语义可以帮助人们认识和区分节点,对于图神经网络而言是非常有辨别力的特征,可进一步从横向上缓解图神经网络的拓扑限制问题。面向带有文本的网络,我们提出了一种语义信息增强的图卷积神经网络。通过构建二分异构网络,将单词信息与属性信息通过协同卷积的策略卷积在一起,使用语义信息增强节点的特征来减弱同质性限制。在节点分类任务中,我们的方法在3个数据集上均优于所有对比算法,分别比最好的高5.04%,0.64%,3.14%,在1个数据集上仅比最好的对比算法低0.94%,仍然取得了较高的准确度。通过上述工作,我们从更加本质的角度缓解了图卷积神经网络的拓扑限制难题,使其能够更加有效用于富含文本的图数据,并为后续研究者提供一个新的研究视角。
其他文献
随着信息技术和互联网的发展,人们逐渐从信息匮乏的时代走入了信息过载的时代。如何在大量信息中发现有用的并让其为人类更好的服务是一个问题。推荐系统就是解决这一问题的重要工具,其任务就是联系用户和信息,使得两者有更好的交互。但是由于人们的隐私安全性意识逐渐增强,很多情况下用户的身份信息是不能够公开的,因此作为专为匿名用户打造的会话推荐系统成为推荐系统领域的热点。它旨在通过一系列匿名会话更有效地预测用户的
学位
实际应用中的数据往往都有多种形式,比如不同的模态、来源和特征,多视图的信息分别用来描述某个事物不同的方面,如果只使用一个视图的信息,分析将缺乏全面性,如果可以同时利用多个视图的信息,将会有效的加强数据分析的效果。多视图聚类已经成为了计算机视觉和机器学习领域的一个重要研究课题,它的目标是得到一个多视图一致的划分结果。但是目前的多视图数据仍然存在两个主要挑战:一方面,数据的多个视图之间有复杂的非线性关
学位
随着无人机飞控技术和计算机视觉技术的飞速发展,两者结合的无人机视觉技术逐渐成为新的研究热点。如今无人机视觉技术已经广泛应用于野生动物保护、智慧城市管理、自然灾害检测以及交通流量监控等领域。在野生动物保护领域,无人机视觉平台可以提供远大于地面摄像头的监控范围,减少了人力物力;在自然灾害检测领域,无人机视觉平台移动方便,可以提供自然灾害的最新讯息,可以及时发现隐患并提供预警。无人机目标计数旨在得出图像
学位
推特和新浪微博等社会媒体平台的繁荣,产生了大量有噪声的短文本。社交媒体话题检测旨在为海量的社会媒体数据建模潜在的语义结构,其揭示的主题信息可用于短文本分类、关键词生成、篇章关系识别等下游应用。目前,面向社会媒体的短文本话题检测方法大致分为基于跨文档共现模式、基于文本语义信息以及整合内容和社交上下文三类。然而,已有方法均忽略社交网络的异构性和多元性以及大范围的用户邻域上下文对话题检测的影响。本文从编
学位
近些年来,关于三维人脸的研究逐渐得到了研究人员们的关注。其中,三维人脸的表征学习是指利用模型得到人脸信息在计算机中的语义表征,从而驱动下游丰富的三维任务,所以三维人脸表征学习具有重要的意义。由于人脸中包含非线性的形变特征,传统的方法基于线性子空间或者高阶张量来刻画人脸表征,由于线性的局限性,得到的表征空间无法刻画极度形变的情况,造成表征能力和扩展性较差。而基于深度学习的三维重建任务可以得到表示能力
学位
数据需求的快速增长、物联网设备的海量接入以及新应用场景的不断涌现,对移动通信网络提出了更高的要求。作为新一代移动通信网络,5G提出并应用了许多前沿理论和技术。其中,设备到设备(D2D)通信技术可以有效缓解通信系统核心网的数据压力并且优化用户服务感知。但是,由于无线信道的开放性,D2D通信存在着隐私泄露、数据篡改等多种安全问题。特别是在身份认证方面,传统的解决方案可能会带来严峻的安全挑战。因此,本论
学位
模式识别是人脑强大认知能力的体现之一。尽管有各种各样的模式识别技术被提出来模拟生物体杰出的认知能力,然而与生物体高效的运作方式相比,这些方法无论是在生物可信度还是识别准确率方面都还有很大的差距。研究表明,生物体使用二值形式的离散脉冲来进行信息传递和处理。受此启发,脉冲神经网络被提出来,用以研究基于脉冲的认知机理及计算特性。然而,设计一个基于脉冲神经网络的高效且生物置信度高的图像识别框架仍存在较大挑
学位
在计算机图形学领域中,流体模拟一直是热门的研究方向之一。传统的流体模拟通过求解物理方程实现,这类方法能够得到非常真实的效果,但是往往会受到计算资源的限制。随着深度学习技术的不断发展,将流体模拟与基于数据驱动的方法相结合成为了一种新的研究趋势。本文在深度学习算法的基础上,针对超分辨率流体中存在的问题进行了研究。本文基于生成对抗网络(GAN)提出了帧间插值的算法,来增强超分辨率流体的时序一致性。使用G
学位
近年来,移动网络流量的激增给移动网络运营商带来极大的挑战,也导致用户体验降低。D2D(Device-to-Device)技术是一种基于设备直连的面对面内容传输技术,可以缓解流量激增问题。我们可以在D2D社区中选择有影响力的种子用户,促进线下内容的传播,卸载网络流量,提高D2D软件的活跃度。然而,目前的一些种子用户选择算法产生影响力重叠的问题。种子用户选择是一个持续的过程,在传统的集中式云计算模式下
学位
深度学习在许多领域都取得了经验性的成功,但是它们仍然缺乏理论上的理解。核框架的优雅性确保了可以使用各种数学分析技术解析地研究深度学习,核方法对于深度学习泛化理论的研究存在着很大的发展空间。本文主要使用核方法从深度核学习的泛化性分析以及优化算法的隐式正则化角度来研究深度学习的泛化理论。主要内容如下:1.提出了基于Rademacher复杂度和Rademacher chaos复杂度的深度核学习泛化误差界
学位