基于消息传递机制的MapReduce图算法研究

来源 :第28届中国数据库学术会议 | 被引量 : 0次 | 上传用户:ryan_cheng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  单机运行环境难以满足基于海量数据的大图算法对时空开销的需求,如何设计高效的面向云计算环境的分布式大图算法越来越受到人们的关注,MapReduce作为云计算的核心计算模式受限于易并行(EP)计算模型的制约不易表达图算法。文中突破了MapReduce基于易并行计算的假设,增强了MapReduce既有的编程规范,新的大同步(BSP)计算模型既能保证兼容旧的MapReduce作业可以无改动的运行,同时引入消息传递机制允许变化的状态数据在并行任务的超级步间进行交互。系统提供高度灵活的消息自定义接口,针对不同应用需求设计了轻量级和重量级两种自适应的消息传递机制,更高效地支持有数据交互需求的包含迭代处理的一大类图算法。在真实大规模图数据集上的实验结果表明,相比于原始的MapReduce作业外部链式处理,该文提出的BSP模型下的内部超级步迭代计算模式大幅降低了大图算法的处理时间。
其他文献
创办知识产权专业对女子高校提升办学层次、改善专业结构、促进创新创业,使女性能够更好地进军高新科技产业具有重要的推动作用。当然创办知识产权专业需要一定的理工科背景,
以广西8个粮食主产县的336户适度规模水稻农户的入户访谈数据为样本,分析基于农业保险、金融信贷和政府补贴的农户粮食适度规模经营政策支持环境,并利用多元层级回归模型分析
“左联”五烈士被难,鲁迅以笔为枪,悲愤地进行战斗,揭露了国民党的法西斯暴行。他先后写了一系列文章;《柔石小传》、《中国无产阶级革命文学和前驱的血》、《黑暗中国的文艺界的
综述了反刍性沉思的概念、测评工具及其与创伤后成长关系的研究进展,并就深化反刍性沉思在创伤后成长中的相关研究提出思考和建议,以期从认知加工的角度为我国临床护士实施心
建立水源热泵机组数学模型,进行部分负荷下冷冻水侧变流量对机组性能影响模拟。结果表明:变流量时流量变化范围并不与机组负荷变化成线性关系;无论定、变流量,部分负荷下冷凝
目的探讨水蛭三黄汤治疗冠心病的疗效。方法回顾分析120例患者的临床资料。结果治疗组显效率明显高于对照组,无效率明显低于对照组。结论水蛭活血祛瘀,有破血逐瘀、攻坚散结
目的探讨阻止PICC异位入颈静脉的有效方法。方法将471例行PICC患者随机分为观察组241例和对照组230例。对照组采用传统方法,当导管即将进入锁骨下静脉中段时,嘱患者将头转向
目的观察补阳还五汤加减配合针灸治疗脑中风后遗症的临床疗效。方法将56例患者随机分为治疗组和对照组两组,治疗组给予补阳还五汤加减配合针灸推拿治疗,对照组给予西药治疗,
【正】中国共产党第十二次全国代表大会(以下简称“十二大”),于一九八二年九月一日至十一日在北京举行.邓小平同志致的开幕词,对十二大的历史任务和历史地位,对十二大的指导
在机场基础设施建设中,通信网络的规划设计建设是非常重要的组成部分,对保证机场各项工作顺利开展和提高机场各项业务工作效率均有重要的作用。以往,机场多采用导线将通讯设