基于邻域的图数据动态分割算法研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:tgw2000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着社交网络的发展,每天都在产生大量的数据,而这些数据区别于关系型数据,具有网络的特性,这些数据构成了大量的图数据。传统的单机处理图数据的方式已经不能适用于现有环境,因此,我们需要使用分割算法将图数据分割成小块再进行下一步的处理,这种处理图数据方式的要点在于如何将图划分成子图分布到集群上,如果划分不当就会造成子图之间大量的通信开销。传统的图数据分割算法在启发式和多层划分方面来说有很多优秀的算法,这些算法可以解决一些小型数据的划分,在大规模数据划分上,多层划分的一些算法的支持力度较大。然而,传统的分割算法对于实时变化的图数据并不能做出很好的处理,它们往往并未考虑到图数据的改变对整个划分结果的影响,也无法对图数据的增删改进行处理。而动态图数据应用十分广泛,因此,研究一个支持动态分割的图数据系统很重要。  针对上述问题,本文对大规模动态图数据上的划分问题进行研究,根据图结构性质及动态图特点,提出并实现了一种基于邻域的动态图分割算法。算法分为静态切分和动态调整两个阶段,其中基于割边算法整合现有优秀的多层划分算法提出了大规模图数据的静态切割算法。在优化后的静态切割算法的基础上,根据图数据的动态扩张的特性提出动态分割算法。根据迁移顶点所达到的最小负载值进行顶点迁移,并在此基础上进行性能及割边控制优化操作。在完成切分的基础上,对于划分完的子图的存储提出自己的一些存储方案。本文将提出的算法在各类图数据集上进行了验证,验证的结果显示在平衡度和割边等指标上优化后的算法效果显著,提高了划分的合理性,并且在保证割边不增加的情况下提高了图分割的平衡度,使得集群负载均衡。
其他文献
中国煤炭企业的安全生产问题面临着严峻的挑战,物联网的广泛应用,提供了对煤矿安全进行实时监控的可行方案。本文通过对物联网应用以及煤矿信息监控需求的调研,提出了基于物
互联网的出现使得信息不断激增,搜索引擎给人们提供了一种从海量信息中定位信息的有效工具。然而信息增长的速度超乎人们的想象,在信息爆炸面前,传统的通用搜索引擎查询方式
无线传感器网络因其本身能量有限的特性,自产生之初就面临网络长效的问题,本文研究了WSN中的网络覆盖、流量调节和区分服务三方面的内容,旨在令网络能够在一定程度上克服上述
随着多核体系结构的发展,程序并行化技术面临着巨大的挑战。一方面,程序中数据的间接引用、指针别名、复杂的控制流等问题使得静态的依赖分析变得十分困难;另一方面,一些系统
随着科技的发展,社会的进步,移动通信网络的能力和规模持续升级,新技术不断推陈出新。通讯、金融、教育、交通、政府、企业等各行业的迅猛发展都越来越密切地依赖于移动通信
随着空间技术的发展,在未来大型复杂航天器上将会有大量的空间应用,应用任务领域广泛、载荷种类繁多、在轨时间长(长达10年),数据类型多、数据量大、数据速率高(高达20-80Gbps)
形式化模型的行为语义确定了系统行为的执行方式,是系统性质验证的基础。本文基于Petri网模型,提出行为的一种描述方式——标准变迁集语义。这种语义提供了Petri网发生行为的一
集群系统的发展使得并行计算能够广泛地应用于各行各业。在异构集群系统和虚拟机集群系统上运行并行程序已成为并行计算的一种发展趋势。   在实际应用中,由于受到程序员水
随着科技的发展,机器人已经在人类的生活和生产中得到了广泛的应用,越来越多的科研机构开始从事于机器人的研究。模块机器人可进行构型的自重构,变成环境需要的形状进行工作,可造
植物物候是指受气候和其他环境因子的影响而出现的以年为周期的自然现象,主要研究植物物候规律的特征及其与主要环境因子之间的关系。对其展开研究,能够加深植被对气候响应的理