云数据中心的能耗管理研究

来源 :智能计算机与应用 | 被引量 : 0次 | 上传用户:jixiong520
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  [摘要] 不断增长的能源消耗已经成为制约云计算发展的瓶颈。分析了云数据中心的能耗分布,指出了降低服务器集群能耗的重要性。在对目前服务器集群能耗模型做总结的基础上,从虚拟化、任务调度、负载均衡以及DVFS四个方面论述了目前云数据中心节能技术、策略及其相应的算法。
  [关键词] 能耗管理;云数据中心;服务器集群;节能技术
  中图分类号:TP368.6;TP399 文献标示:A
  The Research of Energy Management
  in Cloud Computing Center
  ZHOU Hang1 ZHU xin-ying2
  (Zhoukou Normal University , zhoukou , Henan 466001)
  [Abstract] Growing energy consumption has become a bottleneck restricting the development of cloud computing. This paper analyzes the data distribution of cloud computing center and points out the importance of reducing energy consumption of server cluster. Based on the sammary of energy consumption model for server cluster, this paper discusses the current energy-saving technology, strategy and its corresponding algorithm for cloud data center from the aspects such as virtualization, task scheduling, load balancing and DVFS.
  [Keywords] Energy Management; Cloud Data Center; Server Cluster; Energy-saving Technology
  0 引言
  近年来,在商业和科研对计算能力需求日益增长ngzgol: t, Bernd Freisleben,ecture,IEEE,2006ure, ACM,2009.46-55.c law 109-431, LBNL-363E [] 的驱动下,云计算取得了长足的发展并已应用到社会生产生活的各个方面。虽然单台计算机的功率并不大,但是在计算机总数庞大的云计算数据中心中,电力的消耗却相当惊人。以Google
  公司为例,Google2011年的全球能源消费达到了2.6亿瓦特,这相当于加州欧文市家庭用户的所有用电量。随着Amazon EC2、Windows Azure和Google AppEngine等各形各样的云产品的面世,这些大规模的云计算基础设施所消耗的能量也在逐年增长。有报告显示,美国的IT基础设施在2011年所消耗的电能经估算则是2006年的两倍,电费成本大约为45万亿美元[1]。一方面,如此大幅的能量消耗增长会排放出大量的CO2,加剧温室效应;另一方面,不断增长的能源消耗已经成为云计算提供商重要的成本来源。Amazon的CEMS项目显示:能源消耗已经占到该项目总投资额的41.62%[2]。所以,对降低云计算中心能耗的有效方法开展研究,共同打造绿色云,则已成为业内人士的通见与共识,这也是云计算得以健康发展的关键因素。
  1云数据中心的能耗分布
  要降低云计算中心的能耗,就需要分析这些能耗的来源。在云计算中心,能耗主要来自于服务器集群、冷却设备、配电系统、网络传输设备,等。通常,服务器集群负载所消耗的能量占整体能耗的50%左右,国际上通用以PUE值来衡量一个云计算中心的能源效率。PUE的计算公式为:
  PUE=数据中心总设备能耗/IT设备能耗
  PUE的基准值是2,越接近1说明能效水平越好。据美国环境保护署(EPA)研究:美国2012的PUE值大约为1.9,那些运用了高效节能策略的企业的PUE值为1.3—1.7,目前Google称自己的云计算中心的PUE值已经低于这个区间[3]。从能耗的组成部分可以看出,降低配电系统的能耗损失以及降低冷却系统的能耗都能明显降低PUE值。前者可以通过平衡三相电荷、推广节能变压器材、开展无功补偿等方法降低电路设备的能量损耗。后者取决于冷却的方法和设备的架构,比如靠近水域的云数据中心一般通过海(河)水冷却系统来冷却服务器集群,位于Saint-Ghislain的Google比利时数据中心即通过水冷系统将数据中心的PUE值降低为全年1.11[4]。
  2 云数据中心的服务器集群能耗模型
  从上述各大云计算服务商的PUE值可以看出,云数据中心的最大能耗仍然来自于其庞大的服务器集群。在已有设备的基础上如何提高服务器集群的能耗才是云数据中心亟需解决的问题。为了提高能源利用率、评估节能策略和措施的有效性,需要构建一个合理的能耗模型。对于计算机的能耗模型而言,目前已有相当多的论文对此做了研究。一些论文针对具体部件构造能耗模型。在CPU方面,Bellosa最早提出了采用硬件性能计数器对CPU进行能耗建模,并证明了Pentium处理器的能耗和硬件性能计数器有着很强的联系[5]。论文[6]首次将AMD平台的硬件性能计数器分为四类,而且通过Spearman分析法得出每类中与能耗关联最大的性能计数器并进行建模。内存也是耗能部件,当系统的缓存中没有处理器所需数据时,处理器就需要访问内存。因此,业内普遍将一级缓存未命中数作为参数来量化内存的能耗。Contreras则利用缓存中的指令未命中数和数据依赖的延迟周期来建立内存的能耗模型,同样具有很高的准确度[7]。对于提供大量云存储服务的服务商而言,硬盘的功耗同样不能忽略。由于硬盘的功率变化并不明显,所以其能耗的建模要复杂一些,Kim等人利用硬盘读写的时间以及磁头旋转操作速度作为参数进行建模,能准确估算硬盘的能耗[8]。另外,还有一些学者研究的是整个服务器系统的能耗模型,其中有两种最普遍的方法。一是根据CPU资源利用率对系统的能耗进行建模,例如Heath和Fan等人均提出了基于CPU利用率的线性回归模型,并通过实验验证了该模型的准确性[9]。二是如Economous等人根据计算机的工作电压和工作频率来量化系统的能耗[10]。   3 节能技术与策略
  由于服务器集群的能耗占据整体能耗的最大比例,所以目前有关云数据中心的节能算法和策略的研究大都是基于服务器集群的。服务器集群的节能已经成为绿色云计算的研究热点。在研究国内外大量技术文献的基础上,云数据中心的节能技术和策略可以归纳为以下四种。
  3.1虚拟化
  遵循摩尔定律,服务器的硬件不断升级,多核技术的应用更是将服务器的计算能力推向更高水准。与此同时,7×24小时运转的服务器在绝大部分时间里都在浪费其自身的计算能力。Singh通过实验验证了大部分服务器在没有负载的情况下,其能耗也会达到能耗峰值的60%左右[11]。虚拟化技术实现了IT资源的逻辑抽象和统一表示,不仅在云数据中心的操作管理及资源调度方面作用巨大,在节能方面也同样有着出色的表现。埃塞克斯郡的帕尔默学院通过部署服务器虚拟化,将超过20台的IBM服务器减少到仅为3台装有Vmware的vSphere4.1服务器,节约了19%的成本预算[12]。上述方案充分显示了虚拟化技术在提升服务器能源效率方面的优势。预计到2018年,数据中心的空间使用量将只占到如今使用量的40%,越来越多的云数据中心将通过虚拟化技术打造绿色云计算。目前,虽然虚拟化技术能降低服务器集群的整体能耗已经得到公众认可,但是虚拟化技术在能耗优化方面的量化仍存在不小问题。不同类型的物理机和虚拟机在搭配时会有不同的效果,因此虚拟机的装箱算法便成为了目前虚拟化技术在节能领域的研究热点。Cardosa和Singh等人在IEEE TRANSACT- IONS上发表文章,该论文的方法是通过获取虚拟机装箱过程中时间和空间(CPU、内存和存储能力)的平衡来实现节能[13]。文中采用启发式算法找出最优节能的配置方案,虽然算法的时间复杂度略高,却可节约10%左右的能耗,效果良好。
  3.2任务调度
  任务调度也是云计算能耗优化的研究热点。云计算中的Map-Reduce模型是将任务划分为子任务交给不同的节点同时进行。对于云数据中心庞大的服务器集群而言,如果所有节点同时处于运行状态,势必带来惊人的能耗。此时需要通过任务调度来实现服务器集群的动态调整,使那些负载较轻的节点接收更多的任务,或者是将其任务迁移出去后保持在休眠状态,从而降低其能量消耗。论文14是以节能效果为目标,论述经典遗传算法在任务调度中的应用。论文15研究了粒子群算法和蚁群算法在云计算任务调度中的应用,并比较其在节能方面的效果。上述论文的研究结果表明,在不同的应用场景下,利用不同的智能优化算法调度服务器之间的任务分配都分别取得了较优的结果。一些开源的云计算平台往往会自带一些经典的调度器。如Hadoop平台就将任务分成三个粒度:Queue、Job、Task,并以这三个对象构建了FIFO Scheduler、Fair Scheduler以及Capacity Scheduler三种调度器[16]。当然,这几种调度方法都更适用于同构的云环境,目前最新的Hadoop2.0 beta版本已经出现了适应于异构集群的调度器LATE。
  3.3负载均衡
  在云环境中,负载均衡可以将单个重负载的运算分担到多台节点设备上进行并行处理。每个服务器节点的计算运行结束后,将结果汇总并返回给用户,大大提升了系统的处理能力。负载均衡本身是一种提升云计算数据处理速度的技术,但是对庞大的云服务器集群来说,负载均衡技术同样能有效地降低集群整体能耗。Adbeldalam等人通过实验证明了在K台服务器下,负载均分时能耗最小[17]。由此可以看出对于节能而言,服务器集群负载的合理分配意义重大。虽然借助于上述虚拟化技术和任务调度技术,云数据中心可以很方便地将低负载节点中的任务迁移出去,通过维持运行节点的合理负载来降低能耗。但是虚拟机中的任务迁移以及物理机的休眠、重启都是需要消耗能量的。德国马堡大学的Freisleben教授在论文[18]中研究了虚拟机任务迁移的整个过程,并对迁移的三个阶段的能量消耗做了实验分析。对于拥有庞大服务器集群的云数据中心而言,频繁的任务迁移及物理机的休眠/启动策略并不合理,往往需要利用负载均衡技术才能有效地降低能耗。目前,云计算中负载均衡技术的关键因素是负载均衡的算法设计。对于同构的服务器集群环境而言,负载均分便是最简单可行的办法,如Hadoop平台便是将输入数据分割成64M大小的数据块,然后均分给DataNode进行处理。目前的研究热点是异构环境下或者多核环境下的动态负载均衡技术,如论文[19,20]考虑了节点的处理能力及节点的实际负载,给出了不同应用环境下的动态负载均衡算法。
  3.4 DVFS
  DVFS的全称是 Dynamic Voltage and Frequency Scaling,即动态电压频率调整技术。不同于上述三种宏观策略下的节能技术,DVFS技术是从每台服务器自身的角度来降低能耗。对于CMOS电路而言,能耗和电压、频率的关系为: (1)
  对于同一服务器芯片,频率越高,需要的电压也越高。降低频率可以降低功率,但是降低频率往往伴随着增加任务的运行时间t,因此单纯地降低频率并不能有效地减少能耗。通常情况下,DVFS策略需要在降低能耗和缩短任务运行时间之间做出合理的取舍。目前在DVFS技术方面,有三种基本的节能算法:第一种是Lowest-DVFS,每个虚拟机以请求的MIPS来执行任务,调整CPU速率至最低。该算法在任务到达率较低的情况下能耗最少。第二种是-Adanced-DVFS,为当前的虚拟机所请求的MIPS提高,每台处理器具备一定的伸缩性。此算法可以克服Lowest-DVFS策略较低的服务器接受率问题。第三种是Adaptive-DVFS,通过预先判断请求到达率以及服务时间,从而得到最优的伸缩模型。
  4 结束语
  云数据中心的能耗不仅增加了云服务提供商的运营成本,而且已经逐渐演变成全球环境问题。研究云计算的能耗问题,打造高能效、低能耗的绿色云,已经成为亟待解决的任务。本文分析了云数据中心能量消耗的分布情况,总结了目前国内外有关服务器集群的能耗模型。最后从虚拟化、任务调度、负载均衡以及DVFS四个方面探析了云数据中心的节能策略和算法。其中,异构以及多核环境下的动态节能算法将是今后云计算节能技术走向成熟的关键。   参考文献
  [1] BROWNETAL R. Report to congress on server and data center energy efficience public law 109-431, LBNL-363E[R]. Berkeley:Ernest Orlando Lawrence Berkeley National Laboratory,2011.
  [2]HAMILTON J. Cooperative expendable micro-slice servers(CEMS): low cost, low power servers for internet-scale services[J]. IBM Journal of Research and Development, 2012(7):23-29.
  [3]Google. Efficiency measurements[EB/OL]. Http://www.google.com/corporate/datacenter/efficiency-measurements.html.
  [4]WACHSTOR. 绝不浪费:Goggle 数据中心自然冷却方案剖析[EB/OL]. http://datacenter.watchstor.com/green-136489_1.htm.
  [5]BELLOSA F. The benefits of event-drive energy accounting in power-sensitive system[J]. ACM SIGOPS European Workshop,ACM,2000(5):37-42.
  [6]SINGH K, BHADAURIA M, MCKEE S A. Real time power estimation and thread scheduling via performance counters[J]. ACM Special Interest Group on Computer Architecture, ACM,2009(7):46-55.
  [7]CONTRERAS G, MARTONOSI M. Power prediction for Inter XScale processors using performance monitoring unit events[J]. ISLEPD,IEEE,2005(7):221-226.
  [8]KIM Y, GURUMURTHI S, SIVASUBRAMANIAM A. Understanding the Performance Temperature Interactions in Disk IO of Server[J]. High-Performance Computer Architecture,2006(5):136-142.
  [9] FAN X,HEATH T. Power provisioning for a warehouse-sized computer[C]//ISCA,ACM,2007:13-23.
  [10]ECONOMOU D,RIVOIRE S,KOZYRAKIS C. Full-system power analysis and modeling for server environments. MoBS[C]//Stanford University and HP Labs,2006:22-27.
  [11]GREENBERG A, HAMILTON J, MALTZ D, et al. The cost of a cloud: research problems in data center networks[C]// ACM SIGCOMM CCR, January 2009:286-293.
  [12]More on Virtualizing Power[EB/OL]. http://www.powerassure.com/about-power-assure/blogs/virtualizing-power.
  [13]CARDOSA M, SINGH A. Exploiting spatio-temporal tradeoffs for energy-aware MapReduce in the cloud[J]. IEEE TRANSACTIONS ON COMPUTERS, 2012, 61(12):1737-1751.
  [14] 熊聪聪,冯龙,陈丽仙. 云计算中基于遗传算法的任务调度算法研究[J]. 华中科技大学学报(自然科学版),2012(1):15-19.
  [15]王登科,李忠. 基于粒子群优化与蚁群优化的云计算任务调度算法[J]. 计算机应用与软件,2013(1):53-56.
  [16]WBITE T. Hadoop:The Definitive Guide[M]. Sebastopol:O’Reilly Media,2011:5-6.
  [17]ABDELSALAM H S,MALY K,MUKKAMALA R. Analysis of energy efficiency in clouds[J]. Computation World,2009,63(5):416-421.
  [18]GRAUBNER P, SCHMIDT M, FREISLEBEN B.Digital Object Indentifier[J]. 2012,48(10):597-611.
  [19]RANDLES M, LAMB D. Comparative Study into Distributed Load Balancing Algorithms for Cloud Computing[C]//Advanced Information Networking and Applications Workshops(WAINA),20-23 April 2010, Perth, Washington, US:IEEE Press,551-556.
  [20] FANG Yiqiu, WANG Fei, GE Junwei. A Task Scheduling Algorithm Based on Load Balancing in Cloud Computing[C]//International Conference, WISM,23-24, Sanya, China: Springer Berlin Heidelberg Press, 2010:271-277.
  基金项目:国家自然科学基金(青年61103143),河南省高校科技创新人才支持项目(2012HASTII032),周口师范学院青年基金(2012QNB02)
  作者简介:周航(1984-),男,河南周口人,硕士,讲师,研究方向:分布式计算,任务调度,计算机网络。
  朱欣颖(1986-),女,河南周口人,硕士,助教,研究方向:通信系统与应用研究。
其他文献
异化铁还原菌(Dissimilatory Iron Reducing Bacteria,DIRB)能够还原铁矿物,并对矿物中所含重金属的再分配产生深远影响.胞外聚合物(Extracellular Polymeric Substances,EPSs)是决
临床医学系和药学系开设许多重要的课程,如医用化学、物理学、生化、药理、预防等.实验课是这些课程的重要组成部分,在实验中正确记录、处理实验数据和分析实验结果,是顺利完
深部真菌病是由曲霉菌属的真菌引起的一种人畜共患的真菌病。临床上的主要特征是在呼吸器官绀织中发生炎症,并形成肉芽肿结节。本病一年四季均可发生,以梅雨季节多见。临床上
现实生活中,为什么人们对路边的l元硬币看都不会看,而对抢微信红包的1元钱却乐此不疲?男人不舍得买一件千元左右的衣服,妻子用家中存款买下了这件羊毛衫作为生目礼物,他却非常开心
目的:葡萄糖酸钙口服溶液用于预防和治疗钙缺乏症,如骨质疏松、手足抽搐症、骨发育不全、佝偻病以及儿童、妊娠和哺乳期妇女、绝经期妇女、老年人钙的补充。中国药典2010年版
笔者在对学校现有的师生档案管理机制进行深入的研究后,针对学校传统师生传统师生档案管理系统的弱点与不足,提出了实现学校师生档案管理信息化的途径。
目的评价国产头孢哌酮/三唑巴坦治疗急性细菌性呼吸道感染、泌尿道感染以及其他系统感染的有效性与安全性。方法采用区组随机、平行对照、多中心试验设计,头孢哌酮/三唑巴坦
思维能力是人的各种能力的核心,而创造性思维又是思维的最高形式,所以创造性思维能力.是人的最高层次的能力。古今中外有突出贡献的医学家,在青少年时期大都已具有超常的创造性思
2019年,选秀节目《创造营2019》作为《创造101》的第二季,选拔出了11人男子组合R1SE。然而,不尽如人意的节目热度让这个组合出道时收获的关注和热度并不乐观。但是在成团一年
区域性实训基地,是指在某个地域范围内选择一个或几个专业领域能起骨干示范和辐射作用的职业院校和企业,共同参与建设、共同使用、共同维护的实训基地。本文分析了区域性性实