论文部分内容阅读
在最新一期出炉的HPC TOP500榜单中,中国榜上有名的系统半数都用于石油行业。从最早的向量式、SMP、大规模并行处理机等计算机,一直到现在的大规模通用集群,石油行业用户在高性能计算上始终走在应用前列,他们对新技术保持着很高的关注度和接受度。在前不久召开的石油行业高性能计算研讨会上,来自多个石油行业的用户与英特尔共话高性能计算的发展蓝图,就实际应用和技术趋势展开了探讨。
把脉石油行业应用
在石油行业中,高性能计算主要应用于石油勘探和石油的生产和开发,其中又以石油勘探的高性能计算应用最为突出,它多采用集群系统。石油行业用户对高性能计算提出的要求苛刻且具体,包括高性能系统要具有强大的硬件性能表现及能耗比、有优秀的开发应用软件技术配套、符合石油石化行业发展需要、符合开放标准,并且有广泛的合作伙伴支持。
在高性能计算未被广泛应用时,石油勘探用时长,精确性低。要知道,一口井打下去,可就是千万元以上的成本,通过科学的物探方法,准确确定高产井位是节约钻井投资的有效方法。高性能计算在石油勘探领域的逐步普及,提高了勘探精度,也缩短了时间。
地震勘探正是查明地下地质构造的最有效方法之一,与會的多位石油行业专家都提到了这种物探方式。简单地说,地震勘探就是用人工方法激发地震波,然后研究收集到的地震波在地层中传播的情况,来间接查明地质构造,用于寻找油气田或其他勘探目的。
在交流中记者初步了解到,地震勘探的生产工作基本可分为野外工作、室内资料处理以及地震资料解释三个环节。从记录地面振动情况的数据出发,得到地震剖面图和地震波速度资料,进而绘制出反映某些主要层位完整起伏状态的构造图,这样的处理过程需要对大量数据进行快速处理,尤其是地震数据叠前时间和深度偏移时的海量数据计算。这就需要利用高性能计算机,对获得的原始资料进行计算,视计算规模,其计算时间甚至可长达几十天。
常用的处理技术有地震叠前时间偏移、叠前深度偏移、叠前波动方程偏移等技术。这些常规的处理手段已有通用软件版本,大多是采用Schlumberger、Landmark等石油勘探应用软件开发商的产品,经软件处理后,原始数据可以用来进行地震成像、油藏模拟和计算可视化。
根据应用软件的特性不同,它们对系统的要求也不尽相同,不仅仅需要处理器能提供足够的性能、浮点计算能力,有些应用还对内存带宽、I/O、图形图像处理能力比较敏感,依情况还可能会从大容量缓存、大容量内存中获益。石油用户与气象用户类似,他们对计算能力的要求是无止境的,在经济和技术条件允许的情况下,越高的计算能力意味着越低的投入和越高的产出。如今,石油行业勘探的建模精度在不断提高,这就对物理复杂度、计算规模和计算时间都带来了更大的考验。映射到技术角度,这种趋势就是对计算资源、浮点性能、内存带宽、I/O的要求进一步增加,同时能源成本也开始为行业用户日趋关注。
从平台层面全面提升
英特尔把石油行业用户关注的应用需求定义为性能三要素:浮点性能、内存带宽和I/O。为此,英特尔应用与系统工程中心高级经理Lance Shuler向与会者展示了英特尔的技术路线,他的专职工作就是领导英特尔软件与解决方案事业部的全球软件团队为石油行业提供支持。
Lance Shuler介绍说,英特尔将这三个方面放在一个平台上考虑,保持相同或更低的能耗水平。其中,浮点性能提升是通过多核化来实现的,从单核、双核到四核,再到未来会推出的众核,英特尔用多核来实现高性能低能耗,而浮点性能的扩展性则需要用软件去配合,这就是英特尔的高级向量扩展(AVX)特性,可以理解成SSE的下一代。充分扩展的AVX向量从128bit增加到了256bit,增加了对指令的支持,可以在良好的能效状态下提供两倍以上的浮点运算。
在内存带宽方面,英特尔早就引入了1600MHz前端总线,提高了25%的带宽。今年下半年,英特尔还将推出QuickPath互连架构及集成QuickPath内存控制器技术,并应用到采用下一代Nehalem微架构的至强处理器和下一代安腾处理器Tukwila中,这是英特尔自FSB问世以来的首次系统互联迁移。QuickPath采用点对点互连模式,这种技术将提供高达25GB/s的总带宽,比目前使用的其他互连解决方案高出3倍。
为了应对I/O需求,英特尔亮出了SSD和PCI-Express的第二代和第三代。英特尔的SATA SSD将在今年下半年上市。用作企业级的SSD名为SLCA,这种基于NAND闪存的产品针对企业级RAS应用,强调出众的I/O性能,它可以被用作替代硬盘、硬盘缓存或替代存储,并通过内置软件的方式,提高其稳定性。在针对石油用户的实验当中,SSD用于有限差分计算,使用逆时偏移,有2~3倍的性能提升,百度在使用SSD后,内存成本也大幅度降低。目前最有可能存在的问题是其容量还较小,但记者从采访到的石油企业的与会代表处得到的反馈是,32GB~80GB的容量可以满足他们的应用需求。
调优释放多核效能
现场调查结果显示,石油行业用户当前最关注的主题词是Infiniband和多核,尤其是多核导致物理模型、业务模型的思考方向发生了改变,映射到算法上,就是从单核、多线程到现在的大粒度并行、算法并行和应用并行。由于性能开销等原因,虚拟化技术并未在勘探过程中得到应用。
在具体的高性能计算集群搭建过程中,需要有专家来充分考虑处理器、内存、网络以及存储之间的平衡。在此基础上,还要认识到,软件才是未来处理器体系系统演进的核心,用户使用支持多核、众核和未来架构的英特尔软件开发工具、性能库,其统一编程模式会保持传承性,使开发快速、稳定的并行代码更容易,同时也不会因为硬件升级带来太大的软件工作量。
软件的力量不容小视,它在释放多核效能中起着至关重要的作用。据英特尔中国高性能系统架构师张晓军介绍,从技术角度讲,要提高并行化计算程度,处理器远高于内存和I/O的速度。帮助用户通过优化工具提高模式的并行化程度,协调发展,性能还有很大的提升空间。国外已出现这样一种趋势,行业用户很少再进行常规的Benchmark测试,而是直接提出一些应用,由英特尔协助进行优化,分析应用。未来,中国的行业用户也将走上这条道路。
行业用户在选择高性能集群时,通常首先关注性能指标。而每台高性能集群系统最初设计的建议大多是综合了目前应用实测结果,以及专家的经验给出的。通常情况下,由于实际测试需要的设备和工作量太大,所以用户大多是从已有平台的测试结果定性推测未来平台的性能。如此进行高性能计算系统的设计会与实际情况有一定偏差。
为了更好地分析现有系统及预测未来应用所需硬件平台的实际性能,英特尔提供了全面的工具,以实现对应用软件的计算、通信和数据存储等多方面进行精细化的特征分析,并分析高性能集群系统的硬件系统特征,再将数据组合起来,以建立性能模型,再通过性能模型模拟并预测应用软件在未来硬件平台上的实际性能。采用这些工具,可以大大提高用户设计未来高性能集群系统的准确度。
加速器不是万能的
首次突破千万亿次的Roadrunner是目前最快的计算机,它的技术特色就是使用了双核处理器和协处理器,这是否预示着高性能计算的一种发展趋势?英特尔千万亿次系统架构师David Scott表示,他并不认为这是最适合向最广大的通用集群用户推广的技术路径,“混合架构在解决特定架构时有优势,在解决主流应用时,并没有明显优势。未来英特尔也不会走混合架构的技术路线”。
David Scott解释说,推导加速器的加速比通常有偏差,大多数是针对单个CPU,或者单个计算内核而非系统整体性能。加速器的确可能在算法级别上获得较大的优势,它分解出算法中的某一部分,部署在特定的硬件上以加速计算进程。但现实的例子是,这种做法通常无法满足整个应用的加速目标。根据amdahl’s定律,在一个模式中,可以被并行化的只是一部分。
David Scott表示,多核平台的性能并未被充分释放,软件调优还存在着较大的提升空间。石油行业用户是否认可使用加速器呢?记者从多家石油企业的总工处了解到,他们的认识与英特尔基本上是一致的,主要原因在于,加速器软件及其开发缺乏灵活性,混合模式采用不同编译器,缺乏开发标准,编程难度很大。不仅这类技术人才难求,而且后期的开发、调试、优化、设备升级换代等都存在较大困难,很难满足石油行业IT部署的要求。“如果同构和异构都可能达到,显然同构编程成本更低也更容易。”中石油东方地球物理公司的与会代表表示,如何用好多核才是他们当前最关注的。
把脉石油行业应用
在石油行业中,高性能计算主要应用于石油勘探和石油的生产和开发,其中又以石油勘探的高性能计算应用最为突出,它多采用集群系统。石油行业用户对高性能计算提出的要求苛刻且具体,包括高性能系统要具有强大的硬件性能表现及能耗比、有优秀的开发应用软件技术配套、符合石油石化行业发展需要、符合开放标准,并且有广泛的合作伙伴支持。
在高性能计算未被广泛应用时,石油勘探用时长,精确性低。要知道,一口井打下去,可就是千万元以上的成本,通过科学的物探方法,准确确定高产井位是节约钻井投资的有效方法。高性能计算在石油勘探领域的逐步普及,提高了勘探精度,也缩短了时间。
地震勘探正是查明地下地质构造的最有效方法之一,与會的多位石油行业专家都提到了这种物探方式。简单地说,地震勘探就是用人工方法激发地震波,然后研究收集到的地震波在地层中传播的情况,来间接查明地质构造,用于寻找油气田或其他勘探目的。
在交流中记者初步了解到,地震勘探的生产工作基本可分为野外工作、室内资料处理以及地震资料解释三个环节。从记录地面振动情况的数据出发,得到地震剖面图和地震波速度资料,进而绘制出反映某些主要层位完整起伏状态的构造图,这样的处理过程需要对大量数据进行快速处理,尤其是地震数据叠前时间和深度偏移时的海量数据计算。这就需要利用高性能计算机,对获得的原始资料进行计算,视计算规模,其计算时间甚至可长达几十天。
常用的处理技术有地震叠前时间偏移、叠前深度偏移、叠前波动方程偏移等技术。这些常规的处理手段已有通用软件版本,大多是采用Schlumberger、Landmark等石油勘探应用软件开发商的产品,经软件处理后,原始数据可以用来进行地震成像、油藏模拟和计算可视化。
根据应用软件的特性不同,它们对系统的要求也不尽相同,不仅仅需要处理器能提供足够的性能、浮点计算能力,有些应用还对内存带宽、I/O、图形图像处理能力比较敏感,依情况还可能会从大容量缓存、大容量内存中获益。石油用户与气象用户类似,他们对计算能力的要求是无止境的,在经济和技术条件允许的情况下,越高的计算能力意味着越低的投入和越高的产出。如今,石油行业勘探的建模精度在不断提高,这就对物理复杂度、计算规模和计算时间都带来了更大的考验。映射到技术角度,这种趋势就是对计算资源、浮点性能、内存带宽、I/O的要求进一步增加,同时能源成本也开始为行业用户日趋关注。
从平台层面全面提升
英特尔把石油行业用户关注的应用需求定义为性能三要素:浮点性能、内存带宽和I/O。为此,英特尔应用与系统工程中心高级经理Lance Shuler向与会者展示了英特尔的技术路线,他的专职工作就是领导英特尔软件与解决方案事业部的全球软件团队为石油行业提供支持。
Lance Shuler介绍说,英特尔将这三个方面放在一个平台上考虑,保持相同或更低的能耗水平。其中,浮点性能提升是通过多核化来实现的,从单核、双核到四核,再到未来会推出的众核,英特尔用多核来实现高性能低能耗,而浮点性能的扩展性则需要用软件去配合,这就是英特尔的高级向量扩展(AVX)特性,可以理解成SSE的下一代。充分扩展的AVX向量从128bit增加到了256bit,增加了对指令的支持,可以在良好的能效状态下提供两倍以上的浮点运算。
在内存带宽方面,英特尔早就引入了1600MHz前端总线,提高了25%的带宽。今年下半年,英特尔还将推出QuickPath互连架构及集成QuickPath内存控制器技术,并应用到采用下一代Nehalem微架构的至强处理器和下一代安腾处理器Tukwila中,这是英特尔自FSB问世以来的首次系统互联迁移。QuickPath采用点对点互连模式,这种技术将提供高达25GB/s的总带宽,比目前使用的其他互连解决方案高出3倍。
为了应对I/O需求,英特尔亮出了SSD和PCI-Express的第二代和第三代。英特尔的SATA SSD将在今年下半年上市。用作企业级的SSD名为SLCA,这种基于NAND闪存的产品针对企业级RAS应用,强调出众的I/O性能,它可以被用作替代硬盘、硬盘缓存或替代存储,并通过内置软件的方式,提高其稳定性。在针对石油用户的实验当中,SSD用于有限差分计算,使用逆时偏移,有2~3倍的性能提升,百度在使用SSD后,内存成本也大幅度降低。目前最有可能存在的问题是其容量还较小,但记者从采访到的石油企业的与会代表处得到的反馈是,32GB~80GB的容量可以满足他们的应用需求。
调优释放多核效能
现场调查结果显示,石油行业用户当前最关注的主题词是Infiniband和多核,尤其是多核导致物理模型、业务模型的思考方向发生了改变,映射到算法上,就是从单核、多线程到现在的大粒度并行、算法并行和应用并行。由于性能开销等原因,虚拟化技术并未在勘探过程中得到应用。
在具体的高性能计算集群搭建过程中,需要有专家来充分考虑处理器、内存、网络以及存储之间的平衡。在此基础上,还要认识到,软件才是未来处理器体系系统演进的核心,用户使用支持多核、众核和未来架构的英特尔软件开发工具、性能库,其统一编程模式会保持传承性,使开发快速、稳定的并行代码更容易,同时也不会因为硬件升级带来太大的软件工作量。
软件的力量不容小视,它在释放多核效能中起着至关重要的作用。据英特尔中国高性能系统架构师张晓军介绍,从技术角度讲,要提高并行化计算程度,处理器远高于内存和I/O的速度。帮助用户通过优化工具提高模式的并行化程度,协调发展,性能还有很大的提升空间。国外已出现这样一种趋势,行业用户很少再进行常规的Benchmark测试,而是直接提出一些应用,由英特尔协助进行优化,分析应用。未来,中国的行业用户也将走上这条道路。
行业用户在选择高性能集群时,通常首先关注性能指标。而每台高性能集群系统最初设计的建议大多是综合了目前应用实测结果,以及专家的经验给出的。通常情况下,由于实际测试需要的设备和工作量太大,所以用户大多是从已有平台的测试结果定性推测未来平台的性能。如此进行高性能计算系统的设计会与实际情况有一定偏差。
为了更好地分析现有系统及预测未来应用所需硬件平台的实际性能,英特尔提供了全面的工具,以实现对应用软件的计算、通信和数据存储等多方面进行精细化的特征分析,并分析高性能集群系统的硬件系统特征,再将数据组合起来,以建立性能模型,再通过性能模型模拟并预测应用软件在未来硬件平台上的实际性能。采用这些工具,可以大大提高用户设计未来高性能集群系统的准确度。
加速器不是万能的
首次突破千万亿次的Roadrunner是目前最快的计算机,它的技术特色就是使用了双核处理器和协处理器,这是否预示着高性能计算的一种发展趋势?英特尔千万亿次系统架构师David Scott表示,他并不认为这是最适合向最广大的通用集群用户推广的技术路径,“混合架构在解决特定架构时有优势,在解决主流应用时,并没有明显优势。未来英特尔也不会走混合架构的技术路线”。
David Scott解释说,推导加速器的加速比通常有偏差,大多数是针对单个CPU,或者单个计算内核而非系统整体性能。加速器的确可能在算法级别上获得较大的优势,它分解出算法中的某一部分,部署在特定的硬件上以加速计算进程。但现实的例子是,这种做法通常无法满足整个应用的加速目标。根据amdahl’s定律,在一个模式中,可以被并行化的只是一部分。
David Scott表示,多核平台的性能并未被充分释放,软件调优还存在着较大的提升空间。石油行业用户是否认可使用加速器呢?记者从多家石油企业的总工处了解到,他们的认识与英特尔基本上是一致的,主要原因在于,加速器软件及其开发缺乏灵活性,混合模式采用不同编译器,缺乏开发标准,编程难度很大。不仅这类技术人才难求,而且后期的开发、调试、优化、设备升级换代等都存在较大困难,很难满足石油行业IT部署的要求。“如果同构和异构都可能达到,显然同构编程成本更低也更容易。”中石油东方地球物理公司的与会代表表示,如何用好多核才是他们当前最关注的。