论文部分内容阅读
我国超百万亿次曙光5000A的发布代表我国的HPC技术已经跻身世界前列的水平，但IBM“Road Runner”的诞生，也让我们的计算速度有了新的目标。我们必须清楚地认识到，千万亿次不仅仅是数量上的升级，技术上面对的挑战也不能忽视，其中，能耗问题是重中之重。
根据计算，一台持续千万亿次的超级计算机系统每年的电费开销可能高达１亿元以上。试问在能源紧张的今天，如此高功耗的设备如何能够普及？这正是我国高性能计算机下一步所必须迈过的一道门槛。
百万亿次到千万亿次
从近年来全球TOP500高性能计算机排行榜来看，TOP500中几年来第1名和第500名均保持6～8年的时间。2008年6月，全球第一台Linpack测试峰值千万亿次（Petaflops）计算机 Roadrunner出现；我们期待8年后，也就是2016年，千万亿次超级计算时代的真正到来，那时，千万亿次将是全球TOP500排行榜的进入门槛。
所谓千万亿次计算是指每秒进行1千万亿次双精度浮点运算，这是当前中国服务器企业研制的最快超级计算机曙光5000A 系统的近6倍。如果说在10万亿次计算时代我们可以基于商品化处理器部件、交换部件、存储部件、开源操作系统等构建工业标准化机群来满足我们在计算密集、I/O密集等多个领域的应用需求，那么在未来的几年，伴随应用对计算能力的进一步需求，有些应用甚至可能需要1Petaflops的持续应用性能。那时，我们再基于机群架构来构建高性能计算机，不仅面临扩展性、可靠性、均衡性、可编程性、管理复杂性等诸多挑战，功耗也将成为制约千万亿次超级计算机系统研发的主要因素之一。
当前，每个节点耗电在300瓦到1500瓦之间，一个机柜耗能在20千瓦到30千瓦左右。百万亿次超级计算机曙光5000A采用近4000颗四核处理器构建，总体功耗达到700千瓦，其每年的电费开销高达1000万元以上。而一台持续千万亿次超级计算机系统可能需要消耗20兆瓦或更高的功耗。我们不难发现，高性能计算机的效能关已经实实在在地摆在了我们的面前。只有不断提高HPC的能效，我们的千万亿次才能普及，而不是只能局限在部分领域的科技奢侈品。
高性能到高效能
长期以来，业界在服务器节能技术方面做了大量的努力，研究主要集中在三个方面。
1.基于芯片级节能技术。主要包括CPU功耗控制、CPU频率调整和专用低功耗部件。
CPU加工工艺的不断提升，多核及CPU中集成內存控制器，在提高性能的同时，降低了主板芯片组的功耗。另一方面，通过降低电压和频率也可以降低CPU的动态功耗。Intel推出的动态功耗节点管理器就是一个内嵌于芯片组的带外功率管理策略引擎。它与 BIOS 和操作系统功耗管理协作，动态地调整平台功耗。在专用低功耗部件研究方面，包括上海澜起公司研发的高级内存缓存AMB芯片、SSD固态电子硬盘等技术与产品。
2.基础架构级节能技术。主要包括液冷、存储制冷、高效能电源、高效能散热冷却技术等诸多技术。
高效能散热冷却技术包括研究效率更高的散热方式和性能更好的冷却设备，如HP PARSEC体系结构、IBM的机房冷却系统等。
存储制冷（Stored Cooling）指预先基于制冷设备存储部分制冷能力，在需要时再有效释放，类似电池的储电功能。液冷技术包括水冷及液态金属制冷，它在当前大型计算机中使用越来越普遍。
3.除采用上述技术以外，学术界和企业界也在研究系统级节能技术和产品。
系统级节能技术包括：基于负载情况动态调整系统状态，实施部分节点或部件的休眠的技术；根据各进程能耗的不同对CPU任务队列进行调整，将一些产生较多热量的任务从温度较高的CPU上迁移到温度较低的CPU上从而实现能耗的均衡的技术等。
其中，国家高性能计算机工程技术研究中心开发的自适应功耗管理系统可实现基于能效的作业调度策略。IBM PowerExecutive允许用户计量任何物理系统的实际电力使用数据和趋势数据，并在系统、机箱或机架层次上对数据中心中的电耗和热耗进行有效分配。
当然，刚刚提到的芯片级、基础架构级以及系统级节能确实能够节约部分功耗，但并不能提高机房的冷却效率。高性能计算机系统中节能和制冷是紧密结合在一起的，基于服务器能耗监控和制冷设备的联动可以提升冷却系统的效率，实现精确制冷。
形成标准才是飞跃
服务器的发展离不开基准程序测试。有效的基准程序测试不仅可以更好的评估服务器的性能，更重要的是可以实现以应用效率为导向的服务器能效评价体系，而非单一的功耗度量准则，进而引导服务器厂商在高效能计算机方面进行有效的尝试。
当前在服务器能效评价标准方面，主要有SPECpower_ssj2008、Green Top500以及Green Grid三种评价方式。SPECpower_ssj2008是国际标准性能评估机构（SPEC）发布的业界第一项用于评测系统级别服务器的与运算性能相关的功耗基准测试工具。而Green Top 500作为TOP500排行榜的补充，其以MFLOPS/Watt（百万次浮点运算/瓦特）来统计其性能功耗比，则更加看重的是TOP500内大型集群们的能耗表现。
对于能耗标准，我们不得不提的还有2007年成立的行业协会Green Grid 开发了测量数据中心效率和生产力的标准。指标PUE（Power UsageEffectiveness，电力使用效率，等于总设施耗电量与IT设备耗电量之比）应当小于2，越接近1越好；指标DCiE（DataCenter infrastructure ，数据中心基础设施效率，等于IT设备耗电量的100倍与总设施耗电量之比）数字越大越好。这两项指标被用于将数据中心消耗在供电和冷却上的电量与数据中心的IT设备使用的电量进行比较。Green Grid最终希望为数据中心拿出一个类似于汽车每加仑英里数的指标，不过，仍有很多工作要做。
我们通过目前流行的能效评价标准不难发现这样三个问题：首先，随着我国首台突破百万亿次高性能计算机曙光5000A在效能方面的突破，标志着我国完全有能力制定能效评价标准，由国内标准走向国际标准。其次，国际上流行的能效评价标准发展时间并不长，我们的入门门槛并不高。我们必须认识到只有制定属于我们的标准，得到行业的认可，才意味着我们拥有了核心竞争力，在高效能服务器的发展方面才不会受制于人。最后，我们也必须清楚地看到，服务器的能效和应用的需求密不可分，服务器能效在限制应用范围的同时，应用需求也拉动了服务器能耗技术的发展和创新，因此以应用效率为导向的服务器能耗标准的出台，不仅是单纯的功耗度量准则，更重要的是有效提升了我国高性能计算机的普及和发展，大幅度提升我国高性能计算机的国际竞争力。
根据计算，一台持续千万亿次的超级计算机系统每年的电费开销可能高达１亿元以上。试问在能源紧张的今天，如此高功耗的设备如何能够普及？这正是我国高性能计算机下一步所必须迈过的一道门槛。
百万亿次到千万亿次
从近年来全球TOP500高性能计算机排行榜来看，TOP500中几年来第1名和第500名均保持6～8年的时间。2008年6月，全球第一台Linpack测试峰值千万亿次（Petaflops）计算机 Roadrunner出现；我们期待8年后，也就是2016年，千万亿次超级计算时代的真正到来，那时，千万亿次将是全球TOP500排行榜的进入门槛。
所谓千万亿次计算是指每秒进行1千万亿次双精度浮点运算，这是当前中国服务器企业研制的最快超级计算机曙光5000A 系统的近6倍。如果说在10万亿次计算时代我们可以基于商品化处理器部件、交换部件、存储部件、开源操作系统等构建工业标准化机群来满足我们在计算密集、I/O密集等多个领域的应用需求，那么在未来的几年，伴随应用对计算能力的进一步需求，有些应用甚至可能需要1Petaflops的持续应用性能。那时，我们再基于机群架构来构建高性能计算机，不仅面临扩展性、可靠性、均衡性、可编程性、管理复杂性等诸多挑战，功耗也将成为制约千万亿次超级计算机系统研发的主要因素之一。
当前，每个节点耗电在300瓦到1500瓦之间，一个机柜耗能在20千瓦到30千瓦左右。百万亿次超级计算机曙光5000A采用近4000颗四核处理器构建，总体功耗达到700千瓦，其每年的电费开销高达1000万元以上。而一台持续千万亿次超级计算机系统可能需要消耗20兆瓦或更高的功耗。我们不难发现，高性能计算机的效能关已经实实在在地摆在了我们的面前。只有不断提高HPC的能效，我们的千万亿次才能普及，而不是只能局限在部分领域的科技奢侈品。
高性能到高效能
长期以来，业界在服务器节能技术方面做了大量的努力，研究主要集中在三个方面。
1.基于芯片级节能技术。主要包括CPU功耗控制、CPU频率调整和专用低功耗部件。
CPU加工工艺的不断提升，多核及CPU中集成內存控制器，在提高性能的同时，降低了主板芯片组的功耗。另一方面，通过降低电压和频率也可以降低CPU的动态功耗。Intel推出的动态功耗节点管理器就是一个内嵌于芯片组的带外功率管理策略引擎。它与 BIOS 和操作系统功耗管理协作，动态地调整平台功耗。在专用低功耗部件研究方面，包括上海澜起公司研发的高级内存缓存AMB芯片、SSD固态电子硬盘等技术与产品。
2.基础架构级节能技术。主要包括液冷、存储制冷、高效能电源、高效能散热冷却技术等诸多技术。
高效能散热冷却技术包括研究效率更高的散热方式和性能更好的冷却设备，如HP PARSEC体系结构、IBM的机房冷却系统等。
存储制冷（Stored Cooling）指预先基于制冷设备存储部分制冷能力，在需要时再有效释放，类似电池的储电功能。液冷技术包括水冷及液态金属制冷，它在当前大型计算机中使用越来越普遍。
3.除采用上述技术以外，学术界和企业界也在研究系统级节能技术和产品。
系统级节能技术包括：基于负载情况动态调整系统状态，实施部分节点或部件的休眠的技术；根据各进程能耗的不同对CPU任务队列进行调整，将一些产生较多热量的任务从温度较高的CPU上迁移到温度较低的CPU上从而实现能耗的均衡的技术等。
其中，国家高性能计算机工程技术研究中心开发的自适应功耗管理系统可实现基于能效的作业调度策略。IBM PowerExecutive允许用户计量任何物理系统的实际电力使用数据和趋势数据，并在系统、机箱或机架层次上对数据中心中的电耗和热耗进行有效分配。
当然，刚刚提到的芯片级、基础架构级以及系统级节能确实能够节约部分功耗，但并不能提高机房的冷却效率。高性能计算机系统中节能和制冷是紧密结合在一起的，基于服务器能耗监控和制冷设备的联动可以提升冷却系统的效率，实现精确制冷。
形成标准才是飞跃
服务器的发展离不开基准程序测试。有效的基准程序测试不仅可以更好的评估服务器的性能，更重要的是可以实现以应用效率为导向的服务器能效评价体系，而非单一的功耗度量准则，进而引导服务器厂商在高效能计算机方面进行有效的尝试。
当前在服务器能效评价标准方面，主要有SPECpower_ssj2008、Green Top500以及Green Grid三种评价方式。SPECpower_ssj2008是国际标准性能评估机构（SPEC）发布的业界第一项用于评测系统级别服务器的与运算性能相关的功耗基准测试工具。而Green Top 500作为TOP500排行榜的补充，其以MFLOPS/Watt（百万次浮点运算/瓦特）来统计其性能功耗比，则更加看重的是TOP500内大型集群们的能耗表现。
对于能耗标准，我们不得不提的还有2007年成立的行业协会Green Grid 开发了测量数据中心效率和生产力的标准。指标PUE（Power UsageEffectiveness，电力使用效率，等于总设施耗电量与IT设备耗电量之比）应当小于2，越接近1越好；指标DCiE（DataCenter infrastructure ，数据中心基础设施效率，等于IT设备耗电量的100倍与总设施耗电量之比）数字越大越好。这两项指标被用于将数据中心消耗在供电和冷却上的电量与数据中心的IT设备使用的电量进行比较。Green Grid最终希望为数据中心拿出一个类似于汽车每加仑英里数的指标，不过，仍有很多工作要做。
我们通过目前流行的能效评价标准不难发现这样三个问题：首先，随着我国首台突破百万亿次高性能计算机曙光5000A在效能方面的突破，标志着我国完全有能力制定能效评价标准，由国内标准走向国际标准。其次，国际上流行的能效评价标准发展时间并不长，我们的入门门槛并不高。我们必须认识到只有制定属于我们的标准，得到行业的认可，才意味着我们拥有了核心竞争力，在高效能服务器的发展方面才不会受制于人。最后，我们也必须清楚地看到，服务器的能效和应用的需求密不可分，服务器能效在限制应用范围的同时，应用需求也拉动了服务器能耗技术的发展和创新，因此以应用效率为导向的服务器能耗标准的出台，不仅是单纯的功耗度量准则，更重要的是有效提升了我国高性能计算机的普及和发展，大幅度提升我国高性能计算机的国际竞争力。