一种混合计算环境下的MapReduce并行模型

来源 :2013全国高性能计算学术年会 | 被引量 : 0次 | 上传用户:A251321741
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文提出一种混合计算环境下的MapReduce并行计算模型,利用该模型可以买现将高性能集群节点与Internet或Intranet下异构的桌面PC组成混合计算环境,在该混合环境下运行MapReduce任务进行海量数据分析处理,充分利用了大规模桌面PC的计算与存储能力与Hadoop类似,该模型分为存储层和任务层两层。本文对该模型及其核心的HybridDFS分布式文件系统和MapReduce算法进行了描述,进而设计并实现了一个原型系统,并对其进行了性能测试。测试结果表明,本文提出的混合计算模型不仅能够实现可靠的MapReduce计算,而且降低了计算的成本开销,具有非常大的潜力.
其他文献
  随着经济全球化不断深入,飞机产业作为高科技的战略性产业的发展,一方面正呈现垄断化格局,另一方面也正走向全球化.干线飞机被波音和空客两大公司垄断,支线飞机只剩下加拿大
  阐述了真空钎焊的特点和铝合金真空钎焊机箱加工的重要性,突出了工艺规范和研究的必要性。通过有散热翅片DCMP机箱与无散热翅片DPC机箱例证,围绕着铝合金真空钎焊机箱加工
我们对澄潭江煤矿系统地查阅了该矿1971~1983年的接尘工人普查登记表和尘肺诊断结果登记卡,然后分类进行整理。历年尘肺患病情况如表1,历年共查出Ⅰ期55例、Ⅱ期38例、Ⅲ期2
目的:对比包裹性结核性胸膜炎胸膜纤维板增厚患者进行手术和胸腔内尿激酶溶解纤维素治疗疗效.方法:选择2018年5月—2019年5月在我院治疗的包裹性结核性胸膜炎胸膜纤维板增厚
复合材料梁结构由于工艺性、维护性等要求,结构梁腹板中出现开孔不可避免,不同形式的开孔有着不同承载能力.通过对梁腹板结构不同形式的开孔在剪切载荷下屈曲分析研究,得到屈
在分析国内外萝卜辣味问题研究结果的基础上,对萝卜肉质根辣味物质(MTB-ITC)的结构与性质、在萝卜植株内的生理作用、在肉质根中的含量与分布及其定量测定方法等进行了综述,以期为萝卜辣
在北京文坛上,刘恒是一员宿将,属于令人刮目相看的少壮派。从当年的《狗日的粮食》、《伏羲伏羲》,到这几年红遍全国的《贫嘴张大民的幸福生活》,刘恒的小说以其平民意识、文
眼神有何品位?这是我的表述,一种感觉而已。这种感觉来自当代短篇小说大师汪老曾祺。这个词来得很突兀,我想到这个词是激动的,我觉得这个词同汪先生的眼神“贴”了。这个词
一、病史摘要 住院号:38707,男,62岁,某酒厂制曲工。1984年5月22日入院。患者10余年来经常咳嗽、咳痰,以冬春季症状明显,早晨及睡眠前咳嗽加剧,痰呈白色粘稠样,不易咳出,痰
青年作曲家士心的名字,大家是记忆犹新吧。他创作的歌曲《你会爱上它》、《我们是黄河泰山》、《在中国大地上》、《铺满鲜花的国土》、《没有强大的祖国,哪有幸福的家》等,