论文部分内容阅读
[摘要] 以超算中心为代表的高性能计算机系统功率密度高，长期运行在高负荷率状态，耗能极高。在研究了上海超算中心的“5000A”和“4000A”超算系统的基础设施设计、运营和能耗结构的基础上，分析PUE构成和影响，以及主机能效PPW，提出了评价超算中心整体能效指标SCCE。上海超算中心两套不同超算系统能效对比分析，对超级计算或高性能计算中心的高功率密度运营，节能减排、降低运营成本有着非常重要的意义，为今后类似的高功率密度、高耗能数据中心的设计和运营提供了有益的经验和指导。
[关键词] 超算中心 能效 PUE SCCE PPW 超级计算机 数据中心 制冷 水冷
1 概述
上海超级计算中心是重要信息基础设施，是国内首家面向社会开放的、资源可共享的高端计算平台，于2000年年底正式建成并投入运行。在2004年8月,中心引入曙光“4000A”超级计算机系统，峰值运算速度达到每秒11万亿次浮点运算（11TFLOPS），LINPACK运算速度超过每秒8万亿次浮点运算。2009年6月，中心部署的曙光“5000A”（魔方）超级计算机系统，其更是以峰值速度230万亿次/每秒、Linpack性能测试值180万亿次/每秒的成绩，位列当年亚洲第一。两款超级计算机系统都在当年的全球高性能计算机TOP500排行榜中排名第十。[1]、[2]、[3]
上海超级计算中心也依靠这两套系统成为目前国内商用运营的最大超算中心，全球计算能力最强的高性能计算中心之一。本文对上海超级计算中心的曙光“4000A”超级计算机系统运行5年间和曙光“5000A”超级计算机系统运行1年多的能效数据进行了研究，分析了商用运行的超级计算机系统的运行特点和发展方向，指出了高能效、高可靠的基础设施设计、建设、运营思路。
2 两套超级计算机系统基础设施构成
由于超级计算机系统设备功率密度高，长期运行在高负荷率条件下，IT设备能耗比较稳定。为保障其可靠工作，其基础设施系统也比较复杂，耗能较高。为保证超级计算机系统的计算机主机系统可靠运行，中心采用了UPS供电系统和机房精密空调系统为主的基础设施系统，以保证主机系统稳定、可靠的用电和设备环境。
曙光“4000A”超级计算机系统共有45台机柜，包括32台计算机机柜、4台网络机柜、4台I/O机柜、5台存储机柜。主机系统最大总功耗达320KW，日常运行功耗285KW左右，计算机柜最大功耗密度近10kw/机柜。主机房和存储等外设机房占地大约280平米。基础设施系统采用2台400kVA UPS组成的“1+1”冗余并机系统供电；5台80kw风冷型机房精密空调，4用1备运行制冷，并采用地板下送风、上回风的机房内整体送回风的形式。系统供电结构图见下图。
图1 “4000A” IT系统供电结构图
图2“4000A”制冷及其它设备系统的供电结构图
曙光“5000A”超级计算机系统共有65台机柜，包括42台计算机机柜、10台I/O和网络机柜、13台存储机柜。主机系统的最大总功耗为1015kw，日常运行功耗800kw左右，其中计算机系统最大功耗900kw、I/O和网络系统最大功耗45kw、存储系统最大功耗为70kw。主机房和存储等外设机房占地大约360平米。基础设施系统采用4台400kVA UPS组成的“3+1”冗余并机系统供电；由于计算机机柜内功耗密度最大达到23kw/机柜，因而对42台高功率密度计算机机柜采用每台机柜独立制冷的水冷机柜制冷系统，总制冷容量达1000kw；I/O和网络机柜等设备所在的主机房采用3台80kw机房精密空调制冷；存储机房采用3台40kw机房精密空调制冷。[4]、[5]、[6]系统供电结构图见下图。
图 3“5000A”IT系统供电结构图
图 4 “5000A”网络系统和制冷系统的供电结构图
3 计算机中心能效评价指标
根据绿色网格（Green Grid）组织在2007年发表的研究成果[7]，可将计算机中心、数据中心中设备分成IT和基础设施（Infrastructure）两个部分，两个部分能效共同构成了整个数据中心的能效。
3.2 计算机中心基础设施能效指标PUE和DCiE
对于基础设施部分的能效，业界目前广为接受的是Green Grid和EPA（Environmental Protection Agency 美国环境保护局）提出的PUE（Power Usage Effectiveness）和DCiE（Data Center Infrastructure Efficiency）指标和评价体系[10]。且EPA和Green Grid提出基于PUE指标，在计算机中心、数据中心引入建筑行业Energy Star（能源之星）评估办法，来评估数据中心能效和节能效果[11]。
PUE和DCiE的定义为：
PUE=
DCiE==×100%
对计算机中心、数据中心系统分解，可以得到各个子系统能效与所有设备能效的关系：数据中心总能耗=制冷用电能耗+供配电能耗+IT设备能耗，
因而PUE和DCiE可表述成：
上式中，CLF为在单位IT负载上消耗的制冷所用电能；PLF为在单位IT负载上其供电系统的损耗；1.0为单位IT负载自身的电能损耗，为恒定值。上述数据中心的PUE模型清楚地列出了数据中心的能耗的三大主要部分，即：
A、IT设备的能量消耗
B、制冷系统的能量消耗
C、供电系统的能量损耗
通过PUE的定义公式，也可通过PUE的子指标来定量表征数据中心各子系统和IT负荷的能效关联度。Green Grid在后期的研究中，加入了照明等其他设备能耗的指标。[11]、[12]
从PUE和DCiE定义可见，二者成倒数关系，在实际应用中通常采用PUE为数据中心基础设施的能效评价指标。目前数据中心、计算机中心运行的PUE通常在1.9到2.8之间。目前数据中心的PUE值大部分在2.0以上，设计和运营理想的数据中心PUE值可实现1.6以内。[12]根据 EPA（Environmental Protection Agency 美国环境保护局）的报告提出计划通过相关改进措施，在2011年实现普通数据中心PUE在1.9左右，改进型数据中心PUE低于1.7，理想型数据中心PUE低于1.5的目标。[13]
3.3 超级计算机中心整体能效指标SCCE
从前述分析可见，PPW指标可反映计算机运算性能和计算设备能耗的关系；而PUE及DCiE指标可评价整个计算机中心的基础设施能耗状况，和IT设备在计算机中心设备能耗中所占比例。因而结合PPW和PUE及DCiE指标、评价体系特点，针对超级计算机中心的应用特性，推荐采用超级计算机中心能耗效率—SCCE（Super Computer Center Efficiency）的指标来评价超级计算机中心或高性能计算机中心的整体用能效率。
SCCE=，
式中，Performance为计算机系统的运算性能，可采用Linpack基准测试程序时的性能Rmax，或日常运行时的运算性能；
Total Equipment Power为计算机系统运行（得到Performance运算性能）时，计算机中心总设备功耗，主要包括计算机设备、网络存储设备、制冷设备、供电设备等。
可见SCCE（Super Computer Center Efficiency）的指标可全面评价超级计算机中心或高性能计算机中心的整体用能效率，对实际运营更具指导意义。
4 运行能效分析
由于上海超算中心计算任务饱满，运行比较稳定，曙光“4000A”和“5000A”超级计算机系统一直保持在高负荷率的运行状态。研究小组抽取上海超算中心曙光“4000A”和“5000A”超级计算机系统的设备系统全年的运行状态，研究和对比了其能效。
4.1 曙光“4000A”超级计算机系统能效分析
上海超算中心曙光“4000A”超级计算机系统从2004年8月投入运营，运行大约5年，其稳定运行期间负荷率高且稳定，主机CPU使用率一直保持在85%左右。对整个超算系统设备稳定运行数据按季度取算术平均后，得全年运行能耗表如下：
表 一 上海超算中心4000A系统设备用电参数
子系统名称 用电项目名称 冬季 春秋季 夏季
IT设备（超算主机系统） “4000A”计算机系统（kw） 285 286 283
供电系统 UPS系统1（计算机主机用电）输入（kw） 364.32 366.3 366.96
UPS系统2（网络系统用电）输入（kw） 10.58 10.72 10.72
制冷系统 精密空调机组（kw） 132 142.56 190.08
其他设备 照明及其他系统（kw） 4.6 3.8 3.8
系统PUE 1.79 1.83 2.02
系统SCCE (Mflops/w) 13.6 13.3 12.2
根据前文所述计算机中心能效模型和PUE计算公式，可计算上海超算中心曙光“4000A”超级计算机系统的PUE为1.79~2.02，全年平均值（春秋季加权平均）为1.87，属于传统数据中心（常见PUE为1.9~2.8）中PUE较好的应用。
并根据PUE分解定义式：
PUE=制冷能效因子（CLF）+供配电能效因子（PLF）+其它能效因子+1.0
分析“4000A”超级计算机系统的各个子系统能效因子，和其在整个超算中心能效的影响：
A、IT设备能效因子，恒定为1.0。
“4000A”超级计算机采用了世界领先技术，如低功耗CPU、2U高密度服务器等设计，降低主机系统的功耗。其运算能力功耗指标：
PPW=（8Tflops）/（320*1000watt）=25Mflops/watt，（最大运算能力/计算主机运行功耗）；
SCCE=12.2~13.6 Mflops/w，（最大运算能力*实际运行CPU占用率/超算中心系统运行功耗）。
可见“4000A”主机功耗较低，整体用能效率达到2004年国际领先水平。
B、制冷能效因子CLF为：0.46~0.67，受季节影响大。
由于采用制冷效率较高的机房精密空调机组制冷，风冷型机房精密空调机组COP(Coefficient of Performance)值达到2.8以上，属于风冷型机房精密空调能效较高的应用，因而制冷能效因子较低。制冷系统解决了近10kw/机柜的散热密度，接近机房整体送回风制冷方式制冷密度的上限。无论是制冷效率，还是制冷密度上，该制冷系统在系统设计应用的2003年已经达到国内先进水平。
由于夏季环境温度较高，制冷系统能耗更多，此时制冷因子0.67也较冬季的0.46高出了0.21，因而冬季制冷系统的能效较高。
C、供电能效因子PLF为：0.32~0.33，负荷稳定。
为保证系统供电的可靠性，UPS系统运行在“1+1”并联冗余状态，实际负载率比较低——大约为284/（800*0.8）*100%=44.4%。由于UPS处于低负载率状态，其工作效率较低，损耗较大，造成整个UPS供电系统效率较低（为74~75%），因而供电能效因子PLF较高。
D、其它能效因子为0.013~0.016，比重小。
由于照明等其它设备在超算中心设备功耗占1%，比重非常小，因而其它能效因子较低，对PUE值的影响很小，因而对整个系统能效影响很小。
小结：由于制冷系统能耗在系统中所占比例较高，为30%左右，在主机负荷稳定情况下，由于季节变化造成的制冷系统能效变化也影响到计算中心的整体能效，夏季的制冷因子为0.67，要比冬季的0.46高0.21，相应的PUE为2.02要比1.79要高0.23。由于供电负荷稳定，供电能效因子也稳定在0.32~0.33之间。所以，从全年运行角度看，在主机负荷稳定的“4000A”系统中，能耗变化主要是随季节变化的环境温度变化而引起制冷系统能耗变化，夏季的PUE最高，SCCE最低。
4.2 曙光“5000A”超级计算机系统能效分析
上海超算中心曙光“5000A”超级计算机系统自2009年6月投入运营以来，一年多的运行时间内，经过近半年的调试运行，目前负荷量稳步提高。对整个超算系统设备运行数据按季度取算术平均后，得全年运行能耗表如下：
表 二 上海超算中心“5000A”系统设备用电参数
子系统名称 项目名称 冬季 春秋季 夏季
IT设备（超算主机系统） CPU使用率 63.41% 73.43% 79.48%
“5000A”计算机系统（kw） 692.15 714.40 789.20
供电系统 UPS系统1（计算机主机用电）输入（kw） 821.67 784.40 858.0
UPS系统2（网络系统用电）输入（kw） 16.20 19.20 19.76
制冷系统 制冷机组（kw） 167.22 191.9 260.00
水泵（kw） 40.10 40.70 41.10
主机机房空调（kw） 81.18 84.80 100.30
网络、存储等机房空调（kw） 16.4 17.40 18.00
其他设备 照明及其他系统（kw） 6.50 4.10 4.10
系统PUE 1.66 1.60 1.65
系统SCCE (Mflops/w) 101.69 118.46 112.59
根据前文所述计算机中心能效模型和PUE计算公式，可计算上海超算中心曙光“5000A”超级计算机系统的PUE为1.60~1.66，全年平均值（春秋季加权平均）为1.63，属于能效较高的改进型数据中心。
根据PUE分解定义式：
PUE=制冷能效因子（CLF）+供配电能效因子（PLF）+其它能效因子+1.0
可知“5000A”超级计算机系统的各个子系统能效因子，并可分析其在整个超算中心能效的影响：
A、IT设备能效因子，恒定为1.0。
“5000A”超级计算机采用了世界领先技术，如低功耗CPU、标准DDR2内存、全系统刀片等设计，降低主机系统的功耗。其运算能力功耗指标：
PPW=（180*Tflops）/（945*1000watt）=199.7Mflops/watt，（最大运算能力/计算主机运行功耗）；
SCCE=101.69~118.46 Mflops/w，（最大运算能力*实际运行CPU占用率/超算中心系统运行功耗）。
可见“5000A”主机效率高，整体用能效率达到国际领先水平。
B、制冷能效因子CLF为：0.44~0.55，受季节影响大。
由于采用封闭式水冷机柜为高达25kw/机柜的高热密度超级计算机制冷，机柜内制冷效率高，冷冻水传热效率高，制冷机组的制冷效率高；采用机房空调为网络交换、存储等较低发热密度设备散热制冷，制冷效率较高。因而整套制冷系统效率高，能耗低。制冷系统功耗占超算中心总设备功耗的30%左右，较制冷系统功耗占总设备功耗的40~50%的传统数据中心，“5000A”系统大幅降低了制冷系统的能耗，从而降低了PUE值。
夏季由于环境温度较高，制冷系统能耗也较高，此时制冷因子0.55也较冬季的0.44高出了0.11，冬季制冷系统的能效更高。
C、供电能效因子PLF为：0.112~0.211
为保证系统供电的可靠性，UPS系统运行在“3+1”并联冗余状态。运行初期，实际负载率比较低——大约为692.15/（1600*0.8） *100%=54.1%，整个UPS供电系统效率为：692.15/837.87*100%=82.6%。系统运行半年后，对UPS系统改造其滤波器，降低了损耗；同时，系统负荷也提高了，负荷率提高到789.2/（1600*0.8） *100%=61.7%，因而UPS系统工作效率也提高到789.2/877.76*100%=89.9%。较之冬季的效率有了大幅提高，因此供电能效因子PLF也较冬季降低了近一半。
D、其它能效因子为0.005~0.009。
由于照明等其它设备在超算中心设备功耗占1%，比重非常小，因而其它能效因子非常低，对PUE值的影响微乎其微。且这些设备受气候、主机负载变化的影响较小，因而该因子变化也很小。
小结：由于制冷系统能耗在系统中所占比例较高，为30%左右，由于季节变化造成的制冷系统能效变化响到计算中心的整体能效，“5000A”系统夏季的制冷能效因子为0.55，要比冬季的0.44高0.11。供电系统因为负荷提高、改造滤波器等因数提高了效率，降低了供电能效因子，夏季的为0.112比冬季的0.211低了0.099。制冷和供电的能效因子的变化基本相互抵消，而相应的夏季PUE为1.65与冬季的1.66接近。
随着负荷的稳定，“5000A”系统的供电能效因子可以稳定在0.11，考虑到“5000A”系统在冬季运行时制冷能效因子为0.44左右，因而可以预见今后的冬季运行，“5000A”系统的PUE可以进一步降低到1.6以内。
4.3 曙光“4000A”与“5000A”超级计算机系统能效对比分析
根据上海超算中心的曙光“4000A”超级计算机系统运行5年间和曙光“5000A”超级计算机系统运行1年间的能效数据及系统分析。“5000A”超级计算机系统的主机和基础设施系统采用了更先进的技术和管理手段，其能效更高，PUE值更低。上海超算中心的年平均PUE从“4000A”的1.87降到“5000A”的1.63。参见下图：
图 5 “4000A”与“5000A”系统PUE比较
1）IT设备能效大大提高。
“5000A”和“4000A”超级计算机都采用了当时世界领先技术，降低CPU功耗，以降低主机系统的功耗。由于“5000A”系统采用更多、更先进的节能技术，虽然整体的额定功耗是“4000A”系统的3倍，但运算性能却大大提高，其计算能力是“4000A”系统的22.5倍。因而“5000A”系统的PPW为“4000A”的8.0倍！而“5000A”系统的SCCE为“4000A”的9倍！
图6 “4000A”与“5000A”系统SCCE指标比较
“5000A”较“4000A”超级计算机系统的计算主机系统和整个计算中心系统的运算能效都大大提高了，即用更小的空间、能耗换取了更大的运算能力。
2）制冷效率高，能效因子CLF低
“5000A”和“4000A”超级计算机系统都采用了机房精密空调为计算设备制冷，制冷效率较高，制冷系统功耗较低。由于“5000A”系统采用冷冻水系统为计算机系统制冷，并在机柜内制冷，较之“4000A”系统的风冷型机房精密空调系统，传热效率更高，制冷机组的制冷效率更高。特别是夏季时，环境温度高，制冷效率较低，“5000A”系统夏季制冷能效因子为0.55，比“4000A”的夏季制冷能效因子0.67低了0.12，节能效果明显。而在冬季时，环境温度较低，制冷机组运行在较高的效率，“5000A”和“4000A”系统的制冷能效因子都在0.45左右，“5000A”系统的略低。参见下图：
图7“4000A”与“5000A”系统CLF(制冷能效因子)比较
由于制冷系统功耗占超算中心总设备功耗比重较高，因而制冷系统能效的提高，对整套超算系统的能效提高影响很大。
“5000A”系统采用高效率的封闭式水冷机柜为高热密度的计算机散热制冷，制冷密度高达25kw/机柜，也大大高于“4000A”系统不到10kw/机柜的制冷密度，节约了设备占地空间，也利于超级计算机系统的互联运行。
3）供电效率提高，能效因子PLF低
“5000A”和“4000A”超级计算机系统都采用了“N+1”冗余并机UPS供电系统，保证系统供电的可靠性。但“4000A”系统的UPS系统负载率低，大约为44.4%，整个UPS供电系统损耗较大，其工作效率低（74~75%），因而供电能效因子PLF较高，达0.32~0.33。而“5000A”系统的UPS系统提高了负载率，达到了61.7%；并改造其滤波器，降低了损耗，整个UPS供电系统工作效率达到89.9%，大大降低了供电系统的能耗，供电能效因子降低到0.112。参见下图：
图8“4000A”与“5000A”系统PLF(供电能效因子)比较
由于确保主机系统可靠用电的UPS供电系统效率提高，损耗降低，供电能效因子PLF从0.32~0.33降低到0.112，降低近2/3。由于供电系统损耗占超算中心总设备功耗的10%左右，因而“5000A”系统的供电能效因子的改善对PUE的有很大的改善影响。
4）精细管理，降低其它设备能耗
“5000A”较“4000A”超级计算机系统机房实行了更精细的管理，虽然机房面积变大了，但照明等其它设备在机房设备功耗的比重降低了，从0.013~0.016降到了0.008~0.009。不过，由于照明等其它设备在超算中心设备功耗比重非常小，因而其它能效因子非常低，对PUE值的影响微乎其微。
小结：尽管上海超级计算中心的“4000A”和 “5000A”超级计算机系统容量不同，运算性能差别很大，但根据两套系统运行数据，通过PUE、SCCE、PPW等指标对系统单位能耗进行了比较。可发现“5000A”系统较“4000A”系统，虽然容量大了3倍多，但由于采用了先进的计算机主机、高热密度冷冻水制冷、UPS供电技术等，使得“5000A”系统的SCCE、PPW等指标所考量的运算性能的单位能耗却低了很多，即用同样的能耗得到了8~9倍的运算性能。整个计算机中心的单位能耗也有了很大提高，其PUE指标也达到了世界领先水平，计算机中心的整体能耗更低，运营成本更低。
5 总结
上海超算中心“5000A”和“4000A”超级计算机都采用了当时世界领先技术，降低CPU功耗，以降低主机系统的功耗；其基础设施系统都采用当时世界领先设计理念和先进设备，整套超算中心能效水平处于世界领先水平。
本文对比上海超算中心“5000A”和“4000A”系统设计和运营管理，提出采用高效的主机系统、高能效的高热密度冷冻水制冷系统、高效的UPS供电系统和精细化的管理，有效的提高了系统能效，降低了整套超算中心的PUE，提高了PPW、SCCE，达到了世界领先水平。为今后超级计算机系统设计和管理提供了指导和思路。
本文还结合超级计算机和计算中心的应用特点，提出了SCCE（超级计算机中心能效）的评价指标，全面的评价超级计算中心的运算性能和计算中心整体能耗效率，为今后的超级计算中心或高性能计算中心的整体能效评估提供了评价办法。
参考文献：
[1] 中国上海网（上海市政府门户网站），“魔方”的中国新速度 亚洲第一超级计算机在沪投入运行[N]， 2009年6月15日，
[2] 百度百科，曙光4000A[EB]，2010年07月04日更新，
[3] 百度百科，曙光5000A[EB]，2010年08月12日更新，
[4] 张颖琪，超级计算机机房设计与管理[J]，《高性能计算发展与应用》2010年第二期，[期刊]
[5] 张颖琪，魔方（曙光5000A）超级计算机供电与冷却设计及水冷技术应用 [J]，《高性能计算发展与应用》2009年第三期，[期刊]
[6] 陈延钧，高热密度数据中心水冷解决方案[J]，《智能建筑与城市信息》，2008.07. ，[期刊].
[7] CHRISTIAN BELADY, ANDY RAWSON, JOHN PFLEUGER, TAHIR CADER, The Green Grid Data Center Power Efficiency Metrics: PUE and DCiE[R], Green Grid.
[8] R. Ge, X. Feng, H. Pyla, K. Cameron, W. Feng, Power Measurement Tutorial for the Green500 List[R], Green Grid.
[9] 桂亚东，一场计算机高效节能的绿色革命[J]，《高性能计算发展与应用》 2008年第三期，[期刊].
[10] Alexandra Sullivan,ENERGY STAR for Data Centers[R], Green Grid.
[11] BRUCE LONG, JAMES FREEMAN, DR. MICHAEL PATTERSON, ASSESSMENT OF EPA MID-TIER DATA CENTER AT POTOMAC YARD[R], Green Grid.
[12] 钟景华、朱利伟、曹播等，《新一代绿色数据中心的规划与设计》[M]，北京，电子工业出版社，2010.08. ,[图书]
[13] ENERGY STAR Program, 2007,Report to Congress on Server and Data Energy Efficiency[R], Environmental Protection Agency.
[关键词] 超算中心 能效 PUE SCCE PPW 超级计算机 数据中心 制冷 水冷
1 概述
上海超级计算中心是重要信息基础设施，是国内首家面向社会开放的、资源可共享的高端计算平台，于2000年年底正式建成并投入运行。在2004年8月,中心引入曙光“4000A”超级计算机系统，峰值运算速度达到每秒11万亿次浮点运算（11TFLOPS），LINPACK运算速度超过每秒8万亿次浮点运算。2009年6月，中心部署的曙光“5000A”（魔方）超级计算机系统，其更是以峰值速度230万亿次/每秒、Linpack性能测试值180万亿次/每秒的成绩，位列当年亚洲第一。两款超级计算机系统都在当年的全球高性能计算机TOP500排行榜中排名第十。[1]、[2]、[3]
上海超级计算中心也依靠这两套系统成为目前国内商用运营的最大超算中心，全球计算能力最强的高性能计算中心之一。本文对上海超级计算中心的曙光“4000A”超级计算机系统运行5年间和曙光“5000A”超级计算机系统运行1年多的能效数据进行了研究，分析了商用运行的超级计算机系统的运行特点和发展方向，指出了高能效、高可靠的基础设施设计、建设、运营思路。
2 两套超级计算机系统基础设施构成
由于超级计算机系统设备功率密度高，长期运行在高负荷率条件下，IT设备能耗比较稳定。为保障其可靠工作，其基础设施系统也比较复杂，耗能较高。为保证超级计算机系统的计算机主机系统可靠运行，中心采用了UPS供电系统和机房精密空调系统为主的基础设施系统，以保证主机系统稳定、可靠的用电和设备环境。
曙光“4000A”超级计算机系统共有45台机柜，包括32台计算机机柜、4台网络机柜、4台I/O机柜、5台存储机柜。主机系统最大总功耗达320KW，日常运行功耗285KW左右，计算机柜最大功耗密度近10kw/机柜。主机房和存储等外设机房占地大约280平米。基础设施系统采用2台400kVA UPS组成的“1+1”冗余并机系统供电；5台80kw风冷型机房精密空调，4用1备运行制冷，并采用地板下送风、上回风的机房内整体送回风的形式。系统供电结构图见下图。
图1 “4000A” IT系统供电结构图
图2“4000A”制冷及其它设备系统的供电结构图
曙光“5000A”超级计算机系统共有65台机柜，包括42台计算机机柜、10台I/O和网络机柜、13台存储机柜。主机系统的最大总功耗为1015kw，日常运行功耗800kw左右，其中计算机系统最大功耗900kw、I/O和网络系统最大功耗45kw、存储系统最大功耗为70kw。主机房和存储等外设机房占地大约360平米。基础设施系统采用4台400kVA UPS组成的“3+1”冗余并机系统供电；由于计算机机柜内功耗密度最大达到23kw/机柜，因而对42台高功率密度计算机机柜采用每台机柜独立制冷的水冷机柜制冷系统，总制冷容量达1000kw；I/O和网络机柜等设备所在的主机房采用3台80kw机房精密空调制冷；存储机房采用3台40kw机房精密空调制冷。[4]、[5]、[6]系统供电结构图见下图。
图 3“5000A”IT系统供电结构图
图 4 “5000A”网络系统和制冷系统的供电结构图
3 计算机中心能效评价指标
根据绿色网格（Green Grid）组织在2007年发表的研究成果[7]，可将计算机中心、数据中心中设备分成IT和基础设施（Infrastructure）两个部分，两个部分能效共同构成了整个数据中心的能效。
3.2 计算机中心基础设施能效指标PUE和DCiE
对于基础设施部分的能效，业界目前广为接受的是Green Grid和EPA（Environmental Protection Agency 美国环境保护局）提出的PUE（Power Usage Effectiveness）和DCiE（Data Center Infrastructure Efficiency）指标和评价体系[10]。且EPA和Green Grid提出基于PUE指标，在计算机中心、数据中心引入建筑行业Energy Star（能源之星）评估办法，来评估数据中心能效和节能效果[11]。
PUE和DCiE的定义为：
PUE=
DCiE==×100%
对计算机中心、数据中心系统分解，可以得到各个子系统能效与所有设备能效的关系：数据中心总能耗=制冷用电能耗+供配电能耗+IT设备能耗，
因而PUE和DCiE可表述成：
上式中，CLF为在单位IT负载上消耗的制冷所用电能；PLF为在单位IT负载上其供电系统的损耗；1.0为单位IT负载自身的电能损耗，为恒定值。上述数据中心的PUE模型清楚地列出了数据中心的能耗的三大主要部分，即：
A、IT设备的能量消耗
B、制冷系统的能量消耗
C、供电系统的能量损耗
通过PUE的定义公式，也可通过PUE的子指标来定量表征数据中心各子系统和IT负荷的能效关联度。Green Grid在后期的研究中，加入了照明等其他设备能耗的指标。[11]、[12]
从PUE和DCiE定义可见，二者成倒数关系，在实际应用中通常采用PUE为数据中心基础设施的能效评价指标。目前数据中心、计算机中心运行的PUE通常在1.9到2.8之间。目前数据中心的PUE值大部分在2.0以上，设计和运营理想的数据中心PUE值可实现1.6以内。[12]根据 EPA（Environmental Protection Agency 美国环境保护局）的报告提出计划通过相关改进措施，在2011年实现普通数据中心PUE在1.9左右，改进型数据中心PUE低于1.7，理想型数据中心PUE低于1.5的目标。[13]
3.3 超级计算机中心整体能效指标SCCE
从前述分析可见，PPW指标可反映计算机运算性能和计算设备能耗的关系；而PUE及DCiE指标可评价整个计算机中心的基础设施能耗状况，和IT设备在计算机中心设备能耗中所占比例。因而结合PPW和PUE及DCiE指标、评价体系特点，针对超级计算机中心的应用特性，推荐采用超级计算机中心能耗效率—SCCE（Super Computer Center Efficiency）的指标来评价超级计算机中心或高性能计算机中心的整体用能效率。
SCCE=，
式中，Performance为计算机系统的运算性能，可采用Linpack基准测试程序时的性能Rmax，或日常运行时的运算性能；
Total Equipment Power为计算机系统运行（得到Performance运算性能）时，计算机中心总设备功耗，主要包括计算机设备、网络存储设备、制冷设备、供电设备等。
可见SCCE（Super Computer Center Efficiency）的指标可全面评价超级计算机中心或高性能计算机中心的整体用能效率，对实际运营更具指导意义。
4 运行能效分析
由于上海超算中心计算任务饱满，运行比较稳定，曙光“4000A”和“5000A”超级计算机系统一直保持在高负荷率的运行状态。研究小组抽取上海超算中心曙光“4000A”和“5000A”超级计算机系统的设备系统全年的运行状态，研究和对比了其能效。
4.1 曙光“4000A”超级计算机系统能效分析
上海超算中心曙光“4000A”超级计算机系统从2004年8月投入运营，运行大约5年，其稳定运行期间负荷率高且稳定，主机CPU使用率一直保持在85%左右。对整个超算系统设备稳定运行数据按季度取算术平均后，得全年运行能耗表如下：
表 一 上海超算中心4000A系统设备用电参数
子系统名称 用电项目名称 冬季 春秋季 夏季
IT设备（超算主机系统） “4000A”计算机系统（kw） 285 286 283
供电系统 UPS系统1（计算机主机用电）输入（kw） 364.32 366.3 366.96
UPS系统2（网络系统用电）输入（kw） 10.58 10.72 10.72
制冷系统 精密空调机组（kw） 132 142.56 190.08
其他设备 照明及其他系统（kw） 4.6 3.8 3.8
系统PUE 1.79 1.83 2.02
系统SCCE (Mflops/w) 13.6 13.3 12.2
根据前文所述计算机中心能效模型和PUE计算公式，可计算上海超算中心曙光“4000A”超级计算机系统的PUE为1.79~2.02，全年平均值（春秋季加权平均）为1.87，属于传统数据中心（常见PUE为1.9~2.8）中PUE较好的应用。
并根据PUE分解定义式：
PUE=制冷能效因子（CLF）+供配电能效因子（PLF）+其它能效因子+1.0
分析“4000A”超级计算机系统的各个子系统能效因子，和其在整个超算中心能效的影响：
A、IT设备能效因子，恒定为1.0。
“4000A”超级计算机采用了世界领先技术，如低功耗CPU、2U高密度服务器等设计，降低主机系统的功耗。其运算能力功耗指标：
PPW=（8Tflops）/（320*1000watt）=25Mflops/watt，（最大运算能力/计算主机运行功耗）；
SCCE=12.2~13.6 Mflops/w，（最大运算能力*实际运行CPU占用率/超算中心系统运行功耗）。
可见“4000A”主机功耗较低，整体用能效率达到2004年国际领先水平。
B、制冷能效因子CLF为：0.46~0.67，受季节影响大。
由于采用制冷效率较高的机房精密空调机组制冷，风冷型机房精密空调机组COP(Coefficient of Performance)值达到2.8以上，属于风冷型机房精密空调能效较高的应用，因而制冷能效因子较低。制冷系统解决了近10kw/机柜的散热密度，接近机房整体送回风制冷方式制冷密度的上限。无论是制冷效率，还是制冷密度上，该制冷系统在系统设计应用的2003年已经达到国内先进水平。
由于夏季环境温度较高，制冷系统能耗更多，此时制冷因子0.67也较冬季的0.46高出了0.21，因而冬季制冷系统的能效较高。
C、供电能效因子PLF为：0.32~0.33，负荷稳定。
为保证系统供电的可靠性，UPS系统运行在“1+1”并联冗余状态，实际负载率比较低——大约为284/（800*0.8）*100%=44.4%。由于UPS处于低负载率状态，其工作效率较低，损耗较大，造成整个UPS供电系统效率较低（为74~75%），因而供电能效因子PLF较高。
D、其它能效因子为0.013~0.016，比重小。
由于照明等其它设备在超算中心设备功耗占1%，比重非常小，因而其它能效因子较低，对PUE值的影响很小，因而对整个系统能效影响很小。
小结：由于制冷系统能耗在系统中所占比例较高，为30%左右，在主机负荷稳定情况下，由于季节变化造成的制冷系统能效变化也影响到计算中心的整体能效，夏季的制冷因子为0.67，要比冬季的0.46高0.21，相应的PUE为2.02要比1.79要高0.23。由于供电负荷稳定，供电能效因子也稳定在0.32~0.33之间。所以，从全年运行角度看，在主机负荷稳定的“4000A”系统中，能耗变化主要是随季节变化的环境温度变化而引起制冷系统能耗变化，夏季的PUE最高，SCCE最低。
4.2 曙光“5000A”超级计算机系统能效分析
上海超算中心曙光“5000A”超级计算机系统自2009年6月投入运营以来，一年多的运行时间内，经过近半年的调试运行，目前负荷量稳步提高。对整个超算系统设备运行数据按季度取算术平均后，得全年运行能耗表如下：
表 二 上海超算中心“5000A”系统设备用电参数
子系统名称 项目名称 冬季 春秋季 夏季
IT设备（超算主机系统） CPU使用率 63.41% 73.43% 79.48%
“5000A”计算机系统（kw） 692.15 714.40 789.20
供电系统 UPS系统1（计算机主机用电）输入（kw） 821.67 784.40 858.0
UPS系统2（网络系统用电）输入（kw） 16.20 19.20 19.76
制冷系统 制冷机组（kw） 167.22 191.9 260.00
水泵（kw） 40.10 40.70 41.10
主机机房空调（kw） 81.18 84.80 100.30
网络、存储等机房空调（kw） 16.4 17.40 18.00
其他设备 照明及其他系统（kw） 6.50 4.10 4.10
系统PUE 1.66 1.60 1.65
系统SCCE (Mflops/w) 101.69 118.46 112.59
根据前文所述计算机中心能效模型和PUE计算公式，可计算上海超算中心曙光“5000A”超级计算机系统的PUE为1.60~1.66，全年平均值（春秋季加权平均）为1.63，属于能效较高的改进型数据中心。
根据PUE分解定义式：
PUE=制冷能效因子（CLF）+供配电能效因子（PLF）+其它能效因子+1.0
可知“5000A”超级计算机系统的各个子系统能效因子，并可分析其在整个超算中心能效的影响：
A、IT设备能效因子，恒定为1.0。
“5000A”超级计算机采用了世界领先技术，如低功耗CPU、标准DDR2内存、全系统刀片等设计，降低主机系统的功耗。其运算能力功耗指标：
PPW=（180*Tflops）/（945*1000watt）=199.7Mflops/watt，（最大运算能力/计算主机运行功耗）；
SCCE=101.69~118.46 Mflops/w，（最大运算能力*实际运行CPU占用率/超算中心系统运行功耗）。
可见“5000A”主机效率高，整体用能效率达到国际领先水平。
B、制冷能效因子CLF为：0.44~0.55，受季节影响大。
由于采用封闭式水冷机柜为高达25kw/机柜的高热密度超级计算机制冷，机柜内制冷效率高，冷冻水传热效率高，制冷机组的制冷效率高；采用机房空调为网络交换、存储等较低发热密度设备散热制冷，制冷效率较高。因而整套制冷系统效率高，能耗低。制冷系统功耗占超算中心总设备功耗的30%左右，较制冷系统功耗占总设备功耗的40~50%的传统数据中心，“5000A”系统大幅降低了制冷系统的能耗，从而降低了PUE值。
夏季由于环境温度较高，制冷系统能耗也较高，此时制冷因子0.55也较冬季的0.44高出了0.11，冬季制冷系统的能效更高。
C、供电能效因子PLF为：0.112~0.211
为保证系统供电的可靠性，UPS系统运行在“3+1”并联冗余状态。运行初期，实际负载率比较低——大约为692.15/（1600*0.8） *100%=54.1%，整个UPS供电系统效率为：692.15/837.87*100%=82.6%。系统运行半年后，对UPS系统改造其滤波器，降低了损耗；同时，系统负荷也提高了，负荷率提高到789.2/（1600*0.8） *100%=61.7%，因而UPS系统工作效率也提高到789.2/877.76*100%=89.9%。较之冬季的效率有了大幅提高，因此供电能效因子PLF也较冬季降低了近一半。
D、其它能效因子为0.005~0.009。
由于照明等其它设备在超算中心设备功耗占1%，比重非常小，因而其它能效因子非常低，对PUE值的影响微乎其微。且这些设备受气候、主机负载变化的影响较小，因而该因子变化也很小。
小结：由于制冷系统能耗在系统中所占比例较高，为30%左右，由于季节变化造成的制冷系统能效变化响到计算中心的整体能效，“5000A”系统夏季的制冷能效因子为0.55，要比冬季的0.44高0.11。供电系统因为负荷提高、改造滤波器等因数提高了效率，降低了供电能效因子，夏季的为0.112比冬季的0.211低了0.099。制冷和供电的能效因子的变化基本相互抵消，而相应的夏季PUE为1.65与冬季的1.66接近。
随着负荷的稳定，“5000A”系统的供电能效因子可以稳定在0.11，考虑到“5000A”系统在冬季运行时制冷能效因子为0.44左右，因而可以预见今后的冬季运行，“5000A”系统的PUE可以进一步降低到1.6以内。
4.3 曙光“4000A”与“5000A”超级计算机系统能效对比分析
根据上海超算中心的曙光“4000A”超级计算机系统运行5年间和曙光“5000A”超级计算机系统运行1年间的能效数据及系统分析。“5000A”超级计算机系统的主机和基础设施系统采用了更先进的技术和管理手段，其能效更高，PUE值更低。上海超算中心的年平均PUE从“4000A”的1.87降到“5000A”的1.63。参见下图：
图 5 “4000A”与“5000A”系统PUE比较
1）IT设备能效大大提高。
“5000A”和“4000A”超级计算机都采用了当时世界领先技术，降低CPU功耗，以降低主机系统的功耗。由于“5000A”系统采用更多、更先进的节能技术，虽然整体的额定功耗是“4000A”系统的3倍，但运算性能却大大提高，其计算能力是“4000A”系统的22.5倍。因而“5000A”系统的PPW为“4000A”的8.0倍！而“5000A”系统的SCCE为“4000A”的9倍！
图6 “4000A”与“5000A”系统SCCE指标比较
“5000A”较“4000A”超级计算机系统的计算主机系统和整个计算中心系统的运算能效都大大提高了，即用更小的空间、能耗换取了更大的运算能力。
2）制冷效率高，能效因子CLF低
“5000A”和“4000A”超级计算机系统都采用了机房精密空调为计算设备制冷，制冷效率较高，制冷系统功耗较低。由于“5000A”系统采用冷冻水系统为计算机系统制冷，并在机柜内制冷，较之“4000A”系统的风冷型机房精密空调系统，传热效率更高，制冷机组的制冷效率更高。特别是夏季时，环境温度高，制冷效率较低，“5000A”系统夏季制冷能效因子为0.55，比“4000A”的夏季制冷能效因子0.67低了0.12，节能效果明显。而在冬季时，环境温度较低，制冷机组运行在较高的效率，“5000A”和“4000A”系统的制冷能效因子都在0.45左右，“5000A”系统的略低。参见下图：
图7“4000A”与“5000A”系统CLF(制冷能效因子)比较
由于制冷系统功耗占超算中心总设备功耗比重较高，因而制冷系统能效的提高，对整套超算系统的能效提高影响很大。
“5000A”系统采用高效率的封闭式水冷机柜为高热密度的计算机散热制冷，制冷密度高达25kw/机柜，也大大高于“4000A”系统不到10kw/机柜的制冷密度，节约了设备占地空间，也利于超级计算机系统的互联运行。
3）供电效率提高，能效因子PLF低
“5000A”和“4000A”超级计算机系统都采用了“N+1”冗余并机UPS供电系统，保证系统供电的可靠性。但“4000A”系统的UPS系统负载率低，大约为44.4%，整个UPS供电系统损耗较大，其工作效率低（74~75%），因而供电能效因子PLF较高，达0.32~0.33。而“5000A”系统的UPS系统提高了负载率，达到了61.7%；并改造其滤波器，降低了损耗，整个UPS供电系统工作效率达到89.9%，大大降低了供电系统的能耗，供电能效因子降低到0.112。参见下图：
图8“4000A”与“5000A”系统PLF(供电能效因子)比较
由于确保主机系统可靠用电的UPS供电系统效率提高，损耗降低，供电能效因子PLF从0.32~0.33降低到0.112，降低近2/3。由于供电系统损耗占超算中心总设备功耗的10%左右，因而“5000A”系统的供电能效因子的改善对PUE的有很大的改善影响。
4）精细管理，降低其它设备能耗
“5000A”较“4000A”超级计算机系统机房实行了更精细的管理，虽然机房面积变大了，但照明等其它设备在机房设备功耗的比重降低了，从0.013~0.016降到了0.008~0.009。不过，由于照明等其它设备在超算中心设备功耗比重非常小，因而其它能效因子非常低，对PUE值的影响微乎其微。
小结：尽管上海超级计算中心的“4000A”和 “5000A”超级计算机系统容量不同，运算性能差别很大，但根据两套系统运行数据，通过PUE、SCCE、PPW等指标对系统单位能耗进行了比较。可发现“5000A”系统较“4000A”系统，虽然容量大了3倍多，但由于采用了先进的计算机主机、高热密度冷冻水制冷、UPS供电技术等，使得“5000A”系统的SCCE、PPW等指标所考量的运算性能的单位能耗却低了很多，即用同样的能耗得到了8~9倍的运算性能。整个计算机中心的单位能耗也有了很大提高，其PUE指标也达到了世界领先水平，计算机中心的整体能耗更低，运营成本更低。
5 总结
上海超算中心“5000A”和“4000A”超级计算机都采用了当时世界领先技术，降低CPU功耗，以降低主机系统的功耗；其基础设施系统都采用当时世界领先设计理念和先进设备，整套超算中心能效水平处于世界领先水平。
本文对比上海超算中心“5000A”和“4000A”系统设计和运营管理，提出采用高效的主机系统、高能效的高热密度冷冻水制冷系统、高效的UPS供电系统和精细化的管理，有效的提高了系统能效，降低了整套超算中心的PUE，提高了PPW、SCCE，达到了世界领先水平。为今后超级计算机系统设计和管理提供了指导和思路。
本文还结合超级计算机和计算中心的应用特点，提出了SCCE（超级计算机中心能效）的评价指标，全面的评价超级计算中心的运算性能和计算中心整体能耗效率，为今后的超级计算中心或高性能计算中心的整体能效评估提供了评价办法。
参考文献：
[1] 中国上海网（上海市政府门户网站），“魔方”的中国新速度 亚洲第一超级计算机在沪投入运行[N]， 2009年6月15日，
[2] 百度百科，曙光4000A[EB]，2010年07月04日更新，
[3] 百度百科，曙光5000A[EB]，2010年08月12日更新，
[4] 张颖琪，超级计算机机房设计与管理[J]，《高性能计算发展与应用》2010年第二期，[期刊]
[5] 张颖琪，魔方（曙光5000A）超级计算机供电与冷却设计及水冷技术应用 [J]，《高性能计算发展与应用》2009年第三期，[期刊]
[6] 陈延钧，高热密度数据中心水冷解决方案[J]，《智能建筑与城市信息》，2008.07. ，[期刊].
[7] CHRISTIAN BELADY, ANDY RAWSON, JOHN PFLEUGER, TAHIR CADER, The Green Grid Data Center Power Efficiency Metrics: PUE and DCiE[R], Green Grid.
[8] R. Ge, X. Feng, H. Pyla, K. Cameron, W. Feng, Power Measurement Tutorial for the Green500 List[R], Green Grid.
[9] 桂亚东，一场计算机高效节能的绿色革命[J]，《高性能计算发展与应用》 2008年第三期，[期刊].
[10] Alexandra Sullivan,ENERGY STAR for Data Centers[R], Green Grid.
[11] BRUCE LONG, JAMES FREEMAN, DR. MICHAEL PATTERSON, ASSESSMENT OF EPA MID-TIER DATA CENTER AT POTOMAC YARD[R], Green Grid.
[12] 钟景华、朱利伟、曹播等，《新一代绿色数据中心的规划与设计》[M]，北京，电子工业出版社，2010.08. ,[图书]
[13] ENERGY STAR Program, 2007,Report to Congress on Server and Data Energy Efficiency[R], Environmental Protection Agency.