适应节能与异构环境的MapReduce数据布局策略

来源 :中山大学学报:自然科学版 | 被引量 : 0次 | 上传用户:bjbs222
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据处理过程中产生的高能耗问题亟待解决,尤其是在数据量规模剧增的背景下。在对已有数据布局策略存在问题分析的基础上,分析了与基于存储区域划分的节能模式及与异构HDFS集群的不适应、数据块切分算法不灵活、存储节点选择的随机性等几个方面的问题,继而提出面向节能的MapReduce数据布局策略。首先,新策略适应将集群划分为不同存储区域(Active-Zone与Sleep-Zone)的节能模式;其次,新策略对传统的数据块数计算方法进行了改进,提出作业截止时间约束下的最小任务数计算方法确定数据块数量;最后,新的存储
其他文献
研究了高阶线性齐次微分方程f(1)+A k-1(e2)f1+……+A1(z)P1(e2)f+A0(z)P0(ez)f=0解的增长性,其中A,(z)≠O(j=0,1,…,k-1)是整函数,P1(ez)(J=0,1,…,k-1)是ez的非常数多项式,它们的常数项都为零,且次数不相等。证
目的通过检测正常儿童与川崎病患儿急性期及恢复期血清中可溶性内皮生长因子(sVEGF)和转化生长因子β1(TGF-β1)的水平变化,了解其在川崎病中发挥的病理生理作用并有助于早期防治
在生产实际中,由于地质条件的复杂性,巷道随时穿越煤层和地质破碎带,研究托煤顶和控制松散岩层的支护技术,保证施工人员的安全、巷道的工程质量、工程施工的速度的很有必要,新庄煤
1.用腐烂敌喷洒或涂抹。在苹果树发芽前用100-150倍液的腐烂敌喷洒树干。对于大块的腐烂部位可用利刀将病部刮净,再往病部涂抹25-30倍液的腐烂敌药液。2.用抗生素S-921涂抹。
飞利浦目前推出高集成度的单芯片LPC936微控制器,为设计人员提供更多的器件产品和升级途径。
针对裴沟煤矿综放工作面的实际情况,介绍了综放工作面支架拆除技术.通过方案论证及支架在多种状态下的力学分析,论证其技术的可行性;并详细介绍了起吊装置的结构、技术参数及
<正> 随着现代医学科学和管理科学的发展,在质量管理中越来越多地采用了定量的手段,使得许多在过去只能作定性描述的质,也可以用数量精确地表示出来了。也可以说是语言描述的
牛支气管炎,又称咳嗽,俗称打呛,系牛的一种常见、多发病。此病一年四季均可发生,尤以秋冬或晚春气候多变的季节多发,主要由受寒感冒引起机体抵抗力下降所致,长途驱赶、运输中
<正> 在当前医院管理存在着一种不科学的管理现象,即“心中无数主意多,情况不明决心大”。具体表现:一是反映医院情况的一些必要的数据不能及时提供出来,致使领导对许多问题