图分布式计算的通信优化研究

来源 :辽宁大学 | 被引量 : 0次 | 上传用户:yinqing68
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,物联网、互联网和社交网络的快速发展,网络中数据的存储量正在以爆炸式的速度增长,并且与现实自然世界联系愈加紧密。图结构,作为一种非常重要的数据表示形式,图形数据的规模也随着网络数据的增长变得越来越大。经过调研发现大规模图数据具有一个重要特性:结构上具有幂律分布特性,即图中少量节点的度数非常巨大,而大多数节点的度数偏低。研究者已经提出了许多图计算系统来解决复杂的大规模图计算问题。分布式Graphlab和PowerGraph是两个具有代表性的图计算系统,它们展示出卓越的性能、高可扩展性和容错性。然而,这些中的计算节点之间存在过多的通信开销,降低了处理效率,这为大规模图数据的分析和处理带来了新的问题和挑战。本文首先对一些具有代表性的图计算系统进行了介绍,分析比较了现在主流的图计算系统,并总结各自的优缺点。在考察了Graph Lab和PowerGraph等图数据处理系统和网页排名算法之后,本文发现通信开销具有优化的可行性。PageRank算法是Google用来标识网页的等级/重要性的一种方法,目前很多链接分析算法都是在PageRank算法的基础上衍生出来的,PageRank对于网页排名的计算具有重要意义;其次,本文提出了一种新的通信机制——LowGraph。在分布式图并行计算的同步阶段识别和消除网页排名算法冗余的通信开销,本文将该通信机制集成到PowerGraph系统中,并实现了基于LowGraph通信机制的PowerGraph系统;接下来,针对PowerGraph在抽象计算的同步阶段盲目同步所有镜像副本,产生了一些不必要的通信开销问题,本文对PowerGraph进行了改进,并将改进后的系统命名为LowPower Graph。LowPowerGraph在抽象计算的信息同步和信息收集阶段识别和消除不必要的通信,以减少网页排名算法的通信开销,提高图数据处理性能。LowPowerGraph消除了没有输出边的镜像副本的同步通信和没有输入边的镜像的收集通信。最后,本文提出一个边方向感知的图分割策略(EdgeFeel),该策略为每个顶点最优地隔离输出边和输入边,提高只有输入边的镜像副本和只有输出边的镜像副本的比例,以最大化LowGraph和LowPowerGraph的效果。本文对LowGraph、LowPowerGraph和EdgeFeel进行了有效性和执行效率验证。实验结果表明本文所提LowGraph机制不仅可以减少通信开销,而且可以减少网页排名算法的运行时间;LowPowerGraph可以显著减少PowerGraph的通信开销,提高PowerGraph图数据处理的性能;本文所提出的EdgeFeel策略可以大幅提高LowGraph和LowPowerGraph的效果。
其他文献
目的:代谢重编是肿瘤发生的主要特征之一,肿瘤细胞通过重整代谢促进肿瘤增殖、侵袭和转移。因此,本文通过免疫组织化学染色分析不同代谢标记物的表达情况来阐明喉鳞状细胞癌(
介绍了烧结机法和机械化立窑法生产的粉煤灰陶粒配制混凝土的主要性能和应用概况,主要性能:密度小而相应强度高、隔热保温性能好、耐火性能优、抗渗性能好、抗冻性能优、耐蚀
<正> 中华民族文化源远流长,博大精深。弘扬民族文化优秀传统是个大题目、大工程,涉及的面很广,要做的事很多。许多有识之士提出,当前比较紧迫的是两件:一是弘扬中华传统美德
给出了一种基于CAN总线的车灯控制系统设计方案,介绍了车灯控制系统的硬件设计和软件设计,对系统的整体结构、硬件配置、软件功能分别作了详细说明。试验表明,该系统结构简单、
我国信息社会的快速发展,带动了以互联网为平台的新媒体的发展。因此,我国传统电视节目面临着新市场的发展压力,因此,传统电视节目需要进行变革和创新,及时了解社会需求,改变
随着我国信息技术的不断发展,教育事业也逐渐实现了与信息技术的接轨。在信息技术进入教育的过程中,微课以其精简高效的特点备受人们喜爱,在教学过程中被越来越广泛的使用。
世界遗产是全人类共同继承和拥有的宝贵财富 ,它因其具有“突出的、普遍的价值”而成为当今旅游开发的热点之一。然而 ,对遗产资源的过度开发和掠夺性索取 ,使我国的自然文化
目的黑色素瘤因其恶性程度极高而成为皮肤恶性肿瘤致死的主要原因之一,高发的侵袭和转移是其最为显著的特征和影响患者生存的首要因素。黑色素瘤的发病主要与紫外线的过度照
党的十六届六中全会提出了建设社会主义和谐社会的伟大目标,社会公平正义是社会和谐的基本条件,而公共政策与社会公平正义紧密联系,公共政策作为政府治理国家的重要形式和手段,在
对35年生杜仲人工林用优势木对比法进行选优试验,提出了杜仲优树选择标准:绝对生长量标准为胸径0.6—0.8cm/年,树高0.3—0.4m/年;相对生长量标准为树高不低于优势木平均值,胸径的优良度达15%以上。 The