Research and implementation of scalable parallel computing based on Map-Reduce

来源 :上海大学学报(英文版) | 被引量 : 0次 | 上传用户:zhouwei9471
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
As a parallel programming model,Map-Reduce is used for distributed computing of massive data.Map-Reduce model encapsulates the details of parallel implementation,fault-tolerant processing,local computing and load balancing,etc.,provides a simple but powerful interface.In case of having no clear idea about distributed and parallel programming,this interface can be utilized to save development time.This paper introduces the method of using Hadoop,the open-source Map-Reduce software platform,to combine PCs to carry out scalable parallel computing.Our experiment using 12 PCs to compute N-body problem based on Map-Reduce model shows that we can get a 9.8x speedup ratio.This work indicates that the Map-Reduce can be applied in scalable parallel computing.
其他文献
以取心井资料为依据,研究不同沉积环境的砂体岩性、韵律、层理及测井曲线等特征,建立了某盆地区三角洲外前缘相测井相模式,通过逐井判相、勾绘将外前缘相砂体按成因划分为四种砂
CBOT玉米大幅下跌美国农业部于6月30日公布的种植面积报告预测,美国2011年玉米种植面积为9230万英亩,年比增加5%,远高于市场平均预测的9077万英亩,创下自1944年以来次高水平,
广西罗城宝坛水电站三级站有压引水道工程有压隧道,隧洞地质条件复杂,进口围岩稳定性差,开挖洞顶部易出现局部埸落的问题。本文论述了超前管棚支护施工技术在该工程中的应用,
阿克塔斯铜金多金属矿区属于额尔齐斯构造成矿带的一部分.以额尔齐斯大断裂为界,北部为西伯利亚板块,南部为准噶尔板块,工作区恰处于它们的交汇部位且靠近准噶尔一侧.成矿地
长期以来,人们对城市旅游资源及其开发的认识被传统旅游资源观所束缚,一定程度上忽视了城市社会旅游资源及其开发.本文阐述了社会旅游资源的概念与内涵,并分析了城市社会旅游
作者时DEA的基本理论模型、决策单元的选取、评价指标体系的构建等进行了较为系统的研究,并利用DEA分析法就区域技术创新效率的差异性进行简单实证分析,主要采用Malmquist指
笔者结合多年一线执法工作实践,阐述了目前天津市在水务一体化纳管工作中遇到的问题,提出了进一步完善地下水资源法规体系建设的急迫性及重大意义.
新课改背景下的数学教学在不断的改进和创新,因此,教师要准确把握新课程教学方向,深刻了解新课程基本标准,以新课程基本理念为指导,并在教学中不断完善和改进教学,才能更好地
教学反思是是教师对教育教学实践的再认识、再思考,并以此来总结经验教训,进一步提高教育教学水平.教学反思一直以来是教师提高个人业务水平的一种有效手段,它存在于教师的教