并行树和图计算框架的分布式实现

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:aiyang1983
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
树(如二叉树或一般树)是一种重要的数据结构,它经常被用来表示像数学表达式或结构性文档(如XML)这样的分层数据结构。虽然树结构被广泛应用在串行程序中,但由于其不规则和不平衡的结构特点,使得开发有效率的在树上进行计算的并行程序变得很困难。虽然目前已经存在不少关于树的并行化研究,但设计高效的适合于分布式系统的树并行化算法仍然是个挑战。另一方面,大型的网络(图)开始普遍存在于很多领域中,如生物、物理、化学、通讯和社交网络等。人们日益增长的对大规模图数据进行分析的需求对图并行化的研究提出了挑战。很多图优化问题(如最大权重独立集问题)是NP困难的。解决这样的图问题需要的计算复杂度通常和图的大小呈指数关系,即与图上的顶点数或边数成指数关系。对于那些大规模的图,极高的计算复杂度使得这些图问题即使利用计算机集群也很难计算出结果。幸运的是,研究者发现,很多图上的NP困难问题在具有有限树宽的图上可以使用动态规划技术和树分解在多项式时间内进行求解。本课题对国内外树并行化和图并行化相关的工作进行了研究。通过扩展第三同态定理在树上的应用和zipper结构,提出了适合于分布式环境并可应用于MapReduce模型上的树并行框架。由于树分解从数据结构角度来看是树结构,本课题提出了把树分解上自底向上的动态规划算法转化为在zipper结构上的并行算法的方法。通过结合所提出的树并行化框架和树分解技术,提出了适用于分布式环境的图并行化框架,从而实现了图优化类问题的高效并行化。本论文的主要贡献有如下几个方面:1.通过扩展第三同态定理和zipper结构,提出了递归式的平衡树切分方法,进而设计了适合于分布式环境的树并行框架。2.在树并行框架之上,结合树分解技术提出了适合于分布式环境的图并行化框架。3.分别为树并行框架和图并行框架设计了易于使用的接口或抽象。4.设计了系统化的算法转化框架,自动将用户定义在框架接口上的串行算法转化为并行化算法,并生成相应的并行程序。
其他文献
<正>新兴媒体微信的崛起,使民俗文化突破了习有的人际传播,有了更为广阔的传播平台。一些热衷于民族文化的人们自发组织,创建了诸多公共微信平台或微信群,把民族历史文化和现
互联网的发展对教育理论和实践产生了巨大的影响,为学习服务的现代教育的本质更为显现。教师独占知识局面被瓦解。只有在知能、自主、伦理几方面不断地强化与完善,教师才能从
<正>近年来,随着国际交流与人口移动的频繁和加剧,社会语言文化日益多元,甚至家庭多语现象也渐趋平常。为帮助大家更好地适应如此多元的社会文化生活,很多国家都在积极思考、
目的:探讨3种防治方法对于早产儿贫血的防治效果。方法将120例早产儿随机均分成3组,分别采用蛋白琥珀酸铁、重组人红细胞生成素及蛋白琥珀酸铁联合重组人红细胞素进行治疗。结
羊,是人类最早开始狩猎并且驯服的动物之一,与人们的物质生活及精神生活息息相关,古人常常将羊看成是吉祥安乐的象征,因此它曾是远古主要的图腾之一。本文将从羊对人类物质生
由于现代建筑大规模修建,功能复杂多样,需要消耗各种大量的能源和资源,给人类赖以生存的环境带来了很大的负担。发展生态建筑是解决目前建筑物能耗大、污染严重的必然途径。
目的观察腹腔镜下子宫动脉阻断加子宫肌瘤剥除对内分泌激素的影响。方法 2012年1月~2013年2月在张家港第一人民医院妇科接受治疗的58例子宫肌瘤患者,对随访资料完整的31例进
<正> 徐州市贾汪区汴塘镇孟省小学刘桂彬同志:《中文自修》编辑部转来你的信,现答复如下。语气词“啊”用在句尾时,会发生音变,这种音变是受到它前面一个音节末尾音素的影响
期刊
目的:探讨不同窝沟封闭方法应用于龋病牙齿的治疗效果。方法:将龋病牙齿1 000颗根据入院顺序分为治疗组500颗与对照500颗,对照组采用传统窝沟封闭方法,治疗组采用玻璃离子窝
广告英语在英语文体中作为一种独特的语类,在修辞表现形式上也有其独特性。文章运用大量的实例对这一现象作初步的探讨。