论文部分内容阅读
计算机集群的广泛应用给人们带来方便的同时,也带来了能耗问题,如何有效地利用能源,降低不必要的能耗已成为一个迫切需要解决的关键问题。作为目前最热门的海量数据处理框架,Hadoop被部署到越来越多的集群上。但是Hadoop却一直没有引入节能的特性,因此对Hadoop集群的节能优化技术进行研究是非常有必要的。基于现有的研究成果,结合Hadoop本身的机架感知特性和副本存放策略,提出了根据集群的负载情况调整集群规模来改善集群能源利用率的节能方案。节能方案为集群添加两个功能模块:集群负载监控模块和集群规模调整模块。负载监控模块负责监控集群的利用率,当监控到利用率过高或过低时会通知集群规模调整模块对集群规模进行调整。集群规模调整模块包含两个重要的算法:退役节点算法和重用节点算法,集群利用率过低时会启动退役节点算法,通过退役节点来减少集群中活跃节点数量,以提高集群能源利用率,集群利用率过高时会启动重用节点算法来增加集群活跃节点数量,以提高集群对任务请求的响应速度。通过使用GridSim工具包来对系统进行仿真实验,实验中对比了未使用节能策略的集群状态和应用节能策略的集群状态,验证了退役节点算法和重用节点算法确实能够根据集群的负载来改变集群的规模,实验结果表明在算法执行过程中可以使集群节能30%以上。