一种优化MapReduce系统能耗的数据布局算法

来源 :软件学报 | 被引量 : 0次 | 上传用户:zwzwzrzr
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在云计算技术和大数据技术的推动下,IT资源的规模不断扩大,其能耗问题日益显著.研究表明:节点资源利用率不高、资源空闲导致的能源浪费,是目前大规模分布式系统的主要问题之一.研究了MapReduce系统的能耗优化.传统的基于软件技术的能耗优化方法多采用负载集中和节点开关算法,但由于MapReduce任务的特点,集群节点不仅要完成运算,还需要存储数据,因此,传统方法难以应用到MapReduce集群.提出了良好的数据布局可以优化集群能耗.基于此,首先定义了数据布局的能耗优化目标,并提出相应的数据布局算法;接着,从理论上证明该算法能够实现数据布局的能耗优化目标;最后,在异构集群中部署3种数据布局不同的MapReduce系统,通过对比三者在执行CPU密集型、I/O密集型和交互型这3种典型运算时的集群能耗,验证了所提出的数据布局算法的能耗优化效果.理论和实验结果均表明,所提出的布局算法能够有效地降低MapReduce集群的能耗.上述工作都将促进高能耗计算和大数据分析的应用.
其他文献
眼底病变属中医视衣、瞳神疾病。目前针灸治疗的临床报道较少。在少数报道中,也多半采用调养肝肾的方法及从足太阳经治疗。我们参考古代理论,取足少阳膀胱经治疗眼底病,认为
在线性回归模型建模中,回归自变量选择是一个受到广泛关注、文献众多,具有很强的理论和实际意义的问题.回归自变量选择子集的相合性是其中一个重要问题,如果某种自变量选择方
随着医药卫生体制改革的深入发展和公众对医疗资源需求的逐年上升,门诊预约系统的推广和完善成为医院创新改革的重要内容。结合已有的国内外研究成果以及调研情况,分析了目前
MapReduce是一种适用于大规模数据密集型应用的有效编程模型,具有编程简单、易于扩展、容错性好等特点,已在并行和分布式计算领域得到了广泛且成功的应用.由于MapReduce将计
利用循环伏安法(CV)制备了银掺杂聚L-半胱氨酸修饰电极,以神经递质药物多巴胺(DA)为探针,研究了DA分别在阳离子表面活性剂十六烷基三甲基溴化铵(CTMAB)、阴离子表面活性剂十二烷基
<正> 戏剧语言的表现形式虽然各有不同,但它们却都有一个共同点——以最精当的语言表达最丰富的内涵。话剧《雷雨》是曹禺的代表作,也是有口皆碑的名篇。剧中,当三十年后鲁侍
<正> 2002年的高考全国卷及北京卷,将文言文翻译题由客观题(判断译文对错)改为主观题,这样调整,显然更加符合语文学科的特点。根据文言文翻译题的命题特点,本文试以2002年的