基于Hadoop集群的节能优化技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:josenhu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
计算机集群的广泛应用给人们带来方便的同时,也带来了能耗问题,如何有效地利用能源,降低不必要的能耗已成为一个迫切需要解决的关键问题。作为目前最热门的海量数据处理框架,Hadoop被部署到越来越多的集群上。但是Hadoop却一直没有引入节能的特性,因此对Hadoop集群的节能优化技术进行研究是非常有必要的。基于现有的研究成果,结合Hadoop本身的机架感知特性和副本存放策略,提出了根据集群的负载情况调整集群规模来改善集群能源利用率的节能方案。节能方案为集群添加两个功能模块:集群负载监控模块和集群规模调整模块。负载监控模块负责监控集群的利用率,当监控到利用率过高或过低时会通知集群规模调整模块对集群规模进行调整。集群规模调整模块包含两个重要的算法:退役节点算法和重用节点算法,集群利用率过低时会启动退役节点算法,通过退役节点来减少集群中活跃节点数量,以提高集群能源利用率,集群利用率过高时会启动重用节点算法来增加集群活跃节点数量,以提高集群对任务请求的响应速度。通过使用GridSim工具包来对系统进行仿真实验,实验中对比了未使用节能策略的集群状态和应用节能策略的集群状态,验证了退役节点算法和重用节点算法确实能够根据集群的负载来改变集群的规模,实验结果表明在算法执行过程中可以使集群节能30%以上。
其他文献
web2.0技术的迅速崛起,使越来越多的用户喜欢在电商平台和点评网站上发表评论,分享他们对于产品和服务的观点和感受,这些用户发布的评论信息无论是对消费者还是商家都是至关
聚类分析中,基于密度的聚类算法占有非常重要的地位,在信息的过滤、检索、医疗卫生和公共服务等各个领域都得到广泛地应用,是聚类分析的重点研究内容。本文对层次聚类算法的
数码扫描仪作为一种光、机、电、计算机一体化输入设备,应用于高端艺术品数字化复制保存领域,具有便携式、高精度、高质量的特点,有着广泛的市场的需求。本文首先提出了一种新型
随着大数据时代的来临,数据中心要存储或处理的数据的规模急剧攀升,因此有必要对现有数据中心进行扩容或者建造更多大规模数据中心,伴随而来的是能耗的大幅增长。在能源紧缺的今
近年来云计算的发展趋势让人瞩目,其用户数量正日益增加,被认为是继微型计算机、Internet后的第三次革命。云计算:就是以“网络”为中心,通过链接分布在不同地理位置的软、硬
面向双边资源整合的服务模式(BIRIS)是典型的基于中介方的服务模式,服务中介聚集了大量的顾客与服务提供者,顾客向中介方表达自己的服务需求,服务提供者向中介提供服务资源。中
糖尿病是常见病和多发病,目前还没有彻底治愈的办法。对血液中葡萄糖含量的监测是进行糖尿病诊断和治疗的重要参考依据。传统的血糖监测方法是通过间歇式采集指血的方式。动态
通用即插即用(UPnP)是由一系列协议组成的协议簇,它使用简单服务发现协议(SSDP)来控制设备加入和离开网络,使用超文本传输协议(HTTP)保证应用层通信,使用扩展标记语言(XML)和简
电子商务的迅速发展使得越来越多的用户喜欢在网上购买商品,用户在购买商品时通常喜欢参考别的用户对该商品的评论,来判断该商品是否适合自己。目前很多电子商务网站都有商品总
脑电信号包括头皮脑电信号、颅内宏电极脑电信号和颅内微电极脑电信号三种类型。这三种脑电信号经分解得到的源信号依次更精细,更接近于神经元。目前大多数专家将研究焦点集中