高密度是数据中心发展的必然趋势。Aperture Research Institute调查显示,90%以上的大型数据中心都在逐步采用高密度的设备布局。与此相伴而来的是性能提升、电力供应、机房制冷、能耗控制等诸多挑战。探索出相应环境下服务器、存储、布线,以及供电与制冷等方面的实战技巧,将是初建和改建高密度数据中心时可以按图索骥的有效途径。
　　
　　
　　数据中心用户都非常期待用更少的占地面积放置更多的服务器和存储设备,让自己的数据中心具有更强大的数据处理能力。本文所说的高密度,实际上是高功率密度的简称,在当前阶段,中、高功率密度数据中心主要指每平方米平均功率数大于2500W的数据中心。
　　
　　当存储设备更为紧凑,服务器开始逐步采用刀片式产品,以及设备之间也实现了高密度连接时,高功率密度已经成为必然趋势。如果以主辅的概念来划分,服务器与存储理所当然属于数据中心的主设备。
　　
　　当前的趋势是,主设备正在率先走向智能化。同时,辅助设备也将顺应这一发展趋势。最终,高功率密度数据中心将实现绿色与智能化。
　　
　　从服务器与存储的角度来看,高密度数据中心用户要考虑在相同能耗的条件下,如何能持续地提高性能。而在此基础上,用户还要考虑如何让数据中心的整体基础设施架构能满足未来发展规划的要求,或者说,在未来5～10年内,数据中心的整体架构都不应该再进行大调整。
　　
　　从主辅角度理解能耗
　　
　　中国存在两类数据中心用户,一类是有能力、有条件新建数据中心的用户,另一类是在已有的数据中心基础上去提升其计算能力。英特尔中国区服务器产品经理顾凡认为,不论是哪一类,当用户考虑高密度的时候,都要考虑主辅的概念,对于主设备的技术要有清楚的把握。
　　
　　区分主辅概念实际上也有助于数据中心用户辩证地理解能耗控制。“主设备就是我们所说的核心设备,它更多地要担负应用计算、网络计算,以及存储数据交换等任务。这些核心设备都有一个特点,设备本身需要耗费大量电能,同时它又会产生很多热量,用户需要通过制冷设备来控制数据中心的温度。”顾凡认为,这之间就存在一个逻辑关系,如果主设备厂商有能力通过技术创新,把主设备的能耗降低了,就意味着主设备对制冷等辅助设备的要求也会降低。反过来理解,如果辅助设备还是保持原来的制冷能力,数据中心的服务器数量即便增加了,也不必增加辅助设备。
　　
　　数据中心本身是个复杂的系统,要应用到多方面的技术。从主设备的角度来看,这些技术分为几个层面,一是芯片层面,二是组件层面,也就是服务器、存储与网络设备等,在此之上是数据中心层面。顾凡认为:“一家设备厂商很难在这三个层面上做到完全覆盖,生态系统中各个厂商需要通力合作。英特尔的专长就是把芯片层次和组件层次做精做好,目的就是让主设备省电,这样辅助设备的能耗也会相应节省,从而使整个数据中心在能耗方面节省更多。”
　　
　　实现存储系统节能降耗的方法有很多,这里主要强调三点:存储硬件的节能、虚拟化,以及分层存储。存储硬件的节能很容易理解,就是尽量采用一些节能型的产品,比如SSD盘、磁带等。采用虚拟化技术可以更好地实现存储系统的整合,提高存储空间利用率。虚拟化技术在存储中的应用已经比较成熟,并且成为许多存储系统的必备功能。以自动精简配置技术为例,许多中高端磁盘阵列中都已经采用此项虚拟化技术用于灵活调配存储资源,提高存储资源的利用率,减少存储硬件的购买量,从而减少能源消耗和采购成本。
　　
　　一方面新数据不断产生,另一方面旧数据又必须长期保留,这对数据中心用户的存储系统提出了严峻的挑战。动辄几十TB,甚至上百TB的存储量也越来越难以管理。面对海量数据,数据中心用户首先要做到的是对数据类型心中有数,比如,哪些是结构化数据,哪些是非结构数据,哪些非关键数据可以在保留一段时间后删除,哪些是必须长期归档保存的数据等。只有做到心中有数,数据中心用户才能更有效地采取分层存储的策略,将这些处于生命周期不同阶段的数据按其价值不同分别存储在不同档次的存储设备上,一些关键的、经常用到的数据保留在在线存储设备上,一些不需要经常访问的数据就可以保存在離线存储设备上。分层存储的目的是合理调配数据资源,优化整个存储架构,降低管理复杂度,使整个数据中心具有良好的可维护性。
　　
　　最终都要走向智能
　　
　　“分清主次之后,我们下一步的工作就是要在芯片和服务器层面上追求以下几点。”顾凡表示,第一点是能耗越低越好,第二是在同样能耗下提供的性能越高越好,第三是让设备能够智能地适应工作环境。在这三点中,前两点合起来就是能效越高越好。
　　
　　以英特尔的服务器处理器演进为例,服务器平台的系统能耗基本没有增加,而且在最新的英特尔微体系架构Nehalem平台问世后还有所降低,但其性能却节节攀升。对比上一代的服务器,Nehalem服务器处理器在工作状态下的系统能耗降低了11%,如果是在空载状态下,系统能耗则降低多达47%。而从性能方面来看,Nehalem服务器处理器对比上一代产品有了2.5倍的性能提升,对比单核则有 9倍的性能提升。从中国的实际情况来看,尽管多核已经成为主流,但单核仍然在数据中心占据着相当大的比例,多核替代单核,就是提高功率密度的最直接途径。
　　
　　从系统层面来看,另一个问题就是每一个工作时间段的负载是不一样的,这就涉及到“智能”的概念。就服务器来说,智能技术的特点是希望服务器系统能自动感知工作负载,同时对自身提供的性能和应该消耗的能耗产生自动控制,这就是智能。“Nehalem服务器处理器至强5500就相当于给用户提供了这样的机会。”顾凡表示,Nehalem服务器处理器的优点在于,服务器的性能更多地与能耗智能控制联系在一起,“这是主设备率先走向智能化的关键一步”。
　　
　　举个通俗的例子,服务器满负荷工作时,用户希望性能达到100%,其实此时的能耗也达到了最高,也是100%,但这样的情况毕竟不多见。IT管理人员当然希望工作负载只有30%的时候,能耗也是30%。也就是说,随着工作负载在不同时间段的变化,能耗也要相应改变。
　　
　　“过去,服务器负荷只有20%～30%时,其能耗一般也要达到满负荷时的70%,而现在,当工作负载达到50%时,Nehalem虽然做不到能耗也相应降为50%,但已经接近60%左右了。” 顾凡解释说。
　　
　　从技术实现上看,Nehalem的一个特色就是在处理器、内存、I/O上增加了很多Powergate(功耗门),目的就是让每个组件的能耗状态分得更细,不同的工作负载完全可以根据工作负载来决定这个芯片工作在何种能耗状态,以决定总线的主频应该运行在什么样的水平上。主频下降,能耗自然节省,而且这一过程是全自动的,用户不需要参与。这是处理器未来的发展趋势。
　　
　　存储本身也要高密度
　　
　　随着数据量的增加,数据中心用户会越来越强烈地感受到存储的压力,存储设备空间不足是最直接,也是最突出的问题。对于用户来说,不停地购买更多磁盘阵列无疑是最简单的一种解决方法。但是,这种方法给用户带来的是更大的成本和管理压力。另外,由于数据中心空间和电力资源有限,即使用户有充足的资金,也不可能无限制地购买新的磁盘阵列。为此,提升存储系统自身的存储能力成为厂商研究的重点。
　　
　　从存储介质来看,无论是磁盘还是磁带都在向着大容量的方向发展。许多磁盘阵列已经采用了1TB的SATA磁盘。据悉,存储容量为2TB的磁盘不久以后也会问世。在磁带方面,通过提高磁带的存储密度达到提升容量的目的是再平常不过的事。
　　
　　应用需求的增加、数据中心空间的种种限制都促使用户将存储系统的整合提上议事日程。从物理层面整合存储系统是第一步,最直接的要求就是采用高密度的存储设备,尽量减少存储设备的数量,从而减少数据中心所占空间,在保证高性能的同时降低成本。在这种背景下,高密度磁盘阵列应运而生,包括COPAN、Nexsan等厂商都已经推出了此类产品。以Nexsan公司的SATA Beast磁盘阵列为例,它在4U空间内集成了42个磁盘驱动器,如此高的存储密度在以往是很少见的。高密度磁盘阵列的好处是,单位空间的存储容量更大,管理也更容易,以前需要多个磁盘阵列完成的存储任务,现在可能用一台高密度存储阵列就可以胜任。
　　
　　高密度数据中心里存储设备的高密度也是一种趋势。用户除了可以选择高密度磁盘阵列以外,也有必要关注一下刀片式存储设备的发展。惠普、HDS、Nexsan等都推出过刀片式存储设备,比如刀片式磁盘系统、刀片式NAS、刀片式磁带系统等。惠普“一切皆刀片”的理念已经渗透到所有企业级产品中,包括刀片式PC、刀片式工作站、刀片式服务器和刀片式存储。惠普刀片式存储设备是惠普刀片系统平台的一个重要选项,主要是与惠普刀片式服务器一起使用。如果用户选择了一个惠普刀片系统,就可以将所需的服务器刀片和存储刀片插在一个机箱中,从而充分发挥刀片系统部署灵活、节省空间、节约能源等优势。
　　
　　虚拟化是必然手段
　　
　　当发展到建设高密度数据中心和绿色数据中心的阶段时,理论上讲,用户一定要采用虚拟化解决方案来提高数据中心的功率密度,并降低能耗。
　　
　　服务器整合就是当前虚拟化技术在数据中心最为典型的应用,但资源池化还需要一个过程。服务器、存储、I/O都要事先虚拟化,这个资源池不仅能提高效率,还能保证未来若干年,这个池化资源可以扩展,从而更好地适应应用变化。
　　
　　数据中心发展到绿色数据中心、高密度数据中心阶段,“智能”就派上大用场了。池化资源里的计算、存储、网络应该全部都能智能调配资源。虚拟化的意义在于,一旦数据中心要实现智能化,要面对的挑战就是应用与设备一对一绑定的概念,这个挑战就必然需要虚拟化手段来解决。
　　
　　图2自动低功耗状态支持根据实时负载调整系统的功耗
　　
　　· 增加了CPU功耗状态,并降低了CPU功耗
　　
　　· 减少了切换期间的延迟
　　
　　· 可对内存和I/O进行电源管理
　　
　　瞻博网络(Juniper)亚太区企业解决方案市场经理蓝志强认为,为了应对高密度数据中心带来的一系列挑战,高密度数据中心的初建用户必须进行正确且细致的规划,为数据中心的服务器提供充足的能源,雇用专业咨询顾问计算出服务器、存储,以及应用的详细需求,了解数据中心的热度状况,如果需要的话,还要调整冷却系统。同时,网络连接也必须进行分类,而且采用高性能交换机。
　　
　　如果数据中心建设在高层楼宇上,则地面必须保证具有充足的负载能力。用户还要合理地进行机架摆放,比如通过采用“通风区域设计”和“非通风区域设计”,帮助数据中心减少冷却设备能耗。只要是有可能,最好采用单独的机架冷却系统。
　　
　　许多数据中心用户可能遇到过这种情况,一个新建成的数据中心在开始运行后,设备只占机房面积的一半。虽然数据中心还有富余空间,但是已经不能再增添新设备了,因为电力供应不足。一些用户在改造旧数据中心机房的过程中遇到的最头痛问题也是电力改造。不改造电力系统,就不能增加更多设备,而改造电力系统就意味着要投入巨额资金。对于考虑扩建或在现有数据中心基础上改建的用户来说,能源的供给及冷却系统是非常关键的,它们都必须是充足的。如果可能的话,应尽量将高密度的服务器分散在几个机架上,同时也要确保地面的负载能力可以承受这些额外的硬件设备。
　　
　　这两类用户,都应该密切关注虚拟化技术,比如服务器虚拟化、网络虚拟化、安全虚拟化技术等,以此来提高性能,并减少硬件设备的数量。
　　
　　
　　每平米功率数据中心密度
　　
　　400 W/m2以下超低密度数据中心
　　
　　400～900 W/m2 低密度数据中心
　　
　　900～2500 W/m2中、低密度数据中心
　　
　　2500～6000 W/m2 中、高密度數据中心
　　
　　6000～10000 W/m2高密度数据中心
　　
　　10000 W/m2以上超高密度数据中心
　　
　　
　　数据中心密度与每平方米功率关系