基于树型结构的MapReduce并行模型

来源 :计算机科学 | 被引量 : 0次 | 上传用户:haier__
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
MapReduce是Google提出的一种分布式计算模型,已在海量数据处理领域得到了广泛的应用.提出一种基于树型结构的新型MapReduce并行模型.该模型适合于利用Internet或Intranet环境下不可靠的桌面PC资源进行海量科学数据分析.该模型以P2P的形式将计算节点进行组织,模型的底层采用了P2P-MPI框架,采用基于消息传递的模式来实现MapReduce应用层.在MapReduce应用层的实现中,在Map阶段采用广播的形式来分发数据块,在Reduce阶段建立反向二叉树来实现有效的结果合并和化
其他文献
介绍了变频系统中强电条件下设计运行测控系统软件抗干扰技术,论述了抗干扰、防系统'死机'程序的设计思路,讨论了软件抗干扰的数据的置入方式、容错设计以及软件设计应
在系统地分析了三峡大坝施工现场的生产特点和设备特点的基础上,设计了一种基于组态王组态软件的分布式网络监控系统,开发了其相应的实施监控软件包.实际运行表明,该套系统具
在分析研究曲线孔电火花加工机器人机构组成与工作原理的基础上,研制出了曲线孔电火花加工机器人控制系统,介绍了该控制系统的软、硬件组成及设计原理.采用该机器人控制系统
供应链竞争力变量因素多、信息量少、数据收集困难,造成其难以被准确评价。针对该问题构建了一个新的供应链评价指标体系,提出了一种新的供应链竞争力评价方法。它利用蜂群算法全局优化能力强的优点,对支持向量机的控制参数进行有效优化,以此为基础,构建了ABC-SVM评价模型。实验结果表明,所提方法能够有效提高供应链竞争力的评价精度,对提高企业决策效率具有积极意义。
对如何设计VXI总线的1553B接口模块进行研究,给出了模块的具体设计方法.
文章分析了网络自动化系统对网络安全性的需求,详细介绍了加密术、数字签名、加密套接字协议层SSL、数字证书、存取控制、防火墙等几种常见的网络安全措施,探讨了利用这些安全
平显模拟系统以功能强大的交互式可视化的LabWindows/CVI5.0和OpenGL为编程平台开发应用软件,实现逼真模拟平显的功能.介绍了构建平显模拟系统的硬件组成,重点讨论了双机通讯
分析了多传感器融合的必要性,提出了基于Rough集构造模糊神经网络的方法,并应用于多传感器的智能状态监测系统.
网络媒体是分布式测控系统的重要部分.文章对以太网和分布式测控网进行了分析,提出了一种能迅速建立起基于以太网的分布式测控系统的方法.并具体解释了以太网与测控设备高速
由于传感器节点只携带能量十分有限的电池,如何最大化网络生命周期是传感器应用必须考虑的问题.提出一个新的能量相关路由算法,即基于概率和距离的能量相关协议EPDRP,该协议