论文部分内容阅读
高性能计算机体系结构研究一直是计算科学领域研究的前沿课题,高性能计算机在气象、国防、科学研究、资源探测与开采等方面发挥着重大的作用,是衡量国家综合国力的重要标志。
随着处理器体系结构的演进和集成电路工艺的不断提高,高性能功耗比的处理器逐渐成为主流。处理器的不断发展也推动着高性能计算机体系结构不断演进,异构计算技术已经成为主流,在最新的TOP500前5中,有3套系统采用了异构计算技术。在异构计算趋势下,中科院计算所设计实现了具有千万亿次计算能力的曙光6000高效能计算机,提出并采用了超并行体系结构(Hyper Parallel Processing,简称HPP)。HPP系统结构创新的引入了加速部件之间的互连,对集合通信和同步操作提供了专门的硬件支持,同时,还针对整套系统设计了专用的全局通信网络。
在曙光6000高效能计算机系统中,由专用HPP系统控制器实现对多个4核龙芯CPU组成的SMP加速部件和X86处理器之间的高效互连,构成单一操作系统映像的超节点,同时,HPP系统控制器也为节点间互连提供网络I/O共享。曙光6000超节点间通过商用Infiniband网络连接,HPP系统控制器集成PCIExpress总线接口控制器用于连接商用网络部,设计实现高效的I/O共享系统能够提高节点内多加速部件对互连网络的带宽利用,降低多节点间互连的网络延迟。
本文首先介绍了当今主流的高性能计算机体系结构并详细介绍了HPP体系结构。在曙光6000高效能计算机HPP系统控制器设计中,分析了节点对互连网络的访问需求,设计并实现了HPP系统控制器I/O共享系统,针对其中关键问题的解决方案进行了详细的介绍,同时,完成了针对该系统的全功能验证和仿真工作,为系统的实际测试提供了保障。
本文设计的I/O共享系统有如下特点:(1)发现与配置:兼容传统PCI总线发现和配置方法,无需修改操作系统,由内部配置空间和专用配置通道完成配置;(2)高效数据通信:采用全局地址空间,设计实现了多HT总线向PCIE总线的高效协议转换,仿真平台下测试带宽利用率达到87%;(3)低延迟数据交换:共享系统内部数据交换由Crossbar利用PE编号进行路由,采用双虚通道矩阵仲裁实现低延迟交换。整套系统已经在FPGA原型系统中测试通过,工作频率为200MHz。