分布式图计算中的图划分问题研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:fengwei27149
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自20世纪90年代开始,以因特网为代表的信息技术的迅猛发展使人类社会大步迈入了网络时代,使得人类在任何地点任何时间都能够互联互通。从城市网络到全球航空网络,从大脑神经网络到各种新陈代谢网络,各种复杂网络已经充斥着人们生活的方方面面,包括经济,政治,科学等。复杂网络的研究能够广泛地应用到生物、计算机等各个学科领域,使人们更好的了解现实世界中的复杂系统。而如今,网络规模十分巨大,如果把大脑中的神经元看作顶点,神经元之间互连的树突看作边,那么整个网络将包含890亿个顶点及100万亿条边。如何对这些大规模图数据进行有效率的挖掘计算,是研究复杂网络的首要任务。并行计算技术是现在最成熟、应用最广、最可行的计算加速技术之一。因此研究复杂网络计算的并行加速技术具有十分重要的意义。而如何在各计算单元间分配任务是并行计算性能好坏的关键。图划分技术就是解决这一问题的有效手段。图划分问题的研究是随着实际应用的需求不断驱动。随着云计算技术的快速发展,不管是公有云还是私有云,不可避免会出现集群的异构性;数据量的快速增长对图划分算法的划分质量,划分效率及可扩展性提出新的要求;以寻找最短路径等为代表的局部挖掘的图计算应用的广泛性,对之前图划分算法都将成为新的挑战,使得之前划分技术难以适用当今复杂多变的集群环境和应用需求。针对以上三个挑战,分别提出了不同的解决方法。本文的主要贡献如下:1、针对异构计算环境下的分布式集群,本文提出了一种异构感知的流式图划分算法(HaSGP)。该方法根据并行异构环境中硬件性能的不同特点,合理的分配任务,使之提升分布式图计算的效率。同时针对流式图划分,设计了一种基于邻边结构的动态缓存数据管理机制,该机制有效的管理划分过程中的缓存数据。相对于现有的基于邻点结构的流算法,划分效率明显提升。2、针对大规模图划分的问题,本文设计了一种基于层次亲和聚类的分布式大图划分算法(DisHAP)。具体创新点为:设计了基于Boruvka算法的层次亲和聚类,将其作为初始划分。以顶点相似度为距离度量,迭代合并距离较近的两顶点,并移去子图中邻点相似度和值最小的顶点以约束规模过大的子图。在没有后续优化的情况下,划分质量也接近于现有的某些大图划分方法;针对大规模子图之间的割边率优化问题,DisHAP使用降维的操作,将初始划分结果线性嵌入为一维顶点序列。通过分片优化割边的方式对顶点序列重排列,将原问题转化为多个复杂度较小的子问题以利于并行计算。3、设计了一种面向多子图查询感知的图划分算法(Muti-QS)。该算法根据查询的历史记录对图数据进行动态的划分,实验表明,Muti-QS能够达到最高76%的查询在本地化执行。而且查询感知划分速度很快,因为它只对少量查询区域进行操作而不是优化大量的顶点。同时也提出了一种具有局部和全局屏障的混合模型—子查询屏障。由于子查询屏障中的局部屏障产生的最小化开销,使局部屏障能够最大化的减少本地化查询的延迟。而子查询屏障中的全局屏障能够很好的执行动态的优化分割。为了进一步降低分区之间的通信量,Muti-QS使用一种分离器和组合器,通过非集合通信进行同步,降低并发网络通信开销的影响。
其他文献
探讨大体积混凝土冬期施工利用空气对流方法降温。
近年来,随着国际上对太空资源的日益重视,发展以运载火箭为代表的航天飞行器成为了各国竞相推行的战略性举措。如何有效地提高新一代航天飞行器的运载能力,并降低其发射成本,
对近场通信技术的相关标准作了分析;对其发展过程、目前的状况和未来的发展趋势作了详细的介绍。分析了该技术在商业环境中的运用模式和应用开发中的关键问题。安全问题成为
198 3年以前建制镇的平均人口规模呈逐渐扩大的趋势 ,但这是在建制镇的数量减少和停滞的情况下发生的 ,是建制镇平均人口规模演变的非正常状态。 1984年以后建制镇的平均人口
目的:比较完全胸腔镜与传统开放行非小细胞肺癌肺叶切除术对患者围手术期临床疗效、创伤及急性期反应。方法:将40例非小细胞肺癌患者分为完全胸腔镜手术(VATS)组和传统开放手
城市直流牵引供电系统不可避免的产生杂散电流,有可能引发附近变压器进入直流偏磁状态,并产生不良影响。基于此类偏磁现象的特殊性,分析了其可供辨识的特征,提出了城市直流偏
本研究基于阿克苏地区温宿县种棉大户调研,运用面板数据实证研究种棉农户的家庭特征、生产经营特征以及农户的行为控制认知特征等为研究内容,在对样本农户生产经营特征描述性
针对淬火温度、淬火时间和淬火液温度等条件,采用三因素二水平的正交表L(423)分析方法对聚四氟乙烯管材性能的影响进行了分析研究,初步得出了淬火工艺条件控制的规律,即淬火
目的:通过对错位结扎外剥术与外剥内扎术的比较,探寻一种创伤更小、恢复更快、方法更简便的环状混合痔的手术疗法。方法:选取需手术的环状混合痔患者87例,随机分为错位结扎外
本文简单介绍了向日葵生长中后期在田间管理上主要应注意的一些问题。