论文部分内容阅读
高性能应用对计算能力的需求永无止境,导致并行计算机系统在不断提高单处理器性能的同时不断增大系统规模。机群以良好的可扩展性、可靠性和高性能价格比,成为高性能计算机系统的主流体系结构。机群系统的扩展性主要体现在机群网络的可扩展性上。随着机群系统规模的不断扩大,对机群互连网络在高性能、扩展性、高可靠和低功耗方面提出了越来越高的挑战。千万亿次量级的高性能计算机在系统规模会接近甚至超过上万个节点。研究并设计出高性能和高可扩展的超大规模互连网络成为未来机群系统成败的关键。超大规模互连网络的关键是能满足上述要求的网络交换芯片。
大端口交换芯片能够有效地提高网络扩展能力,降低网络延迟,成为构建机群超大规模互连网络的关键技术。科学计算应用中普遍存在着集合通信模式,其中以全局同步和多播最为典型。当网络规模很大时,集合通信将成为主要开销。因此在大端口交换芯片中内嵌集合通信加速引擎,也是构建机群超大规模互连网络的关键技术。
本文围绕机群超大规模互连网络,在单播大端口交叉开关、全局同步硬件加速引擎和多播硬件加速引擎三个方面展开研究,并根据研究结果设计实现了一个64端口千兆以太网交换芯片。本文的具体研究成果如下:
1)提出一种两级单播交叉开关微体系结构,能够有效地将一个大端口交叉开关拆分为由片内两级子交叉开关组成的连接结构,大大节省交换逻辑资源。仿真试验结果表明,两级交叉开关结构通过2~3的内部倍频和32KB输出缓冲区,能够达到90%的饱和吞吐率,与其它性能相当的大端口交换芯片结构相比,能节省65.7%的交叉开关逻辑资源。
2)设计实现了一种低延迟的硬件全局同步加速引擎,并在理论上证明其可靠性。分析表明该机制在超大规模机群环境下具有良好的扩展性能。基于仿真模型,研究了单播通信网络和全局同步网的相互影响。试验结果表明混合流控机制下,全局同步延迟在单播饱和情况下受到严重影响,与独立流控机制相比,相差7.8~28.7倍。在独立流控机制下全局同步与单播相互影响较小,全部同步延迟最多增加2个包长的传输时间,而单播的饱和吞吐率影响小于1%。
3)提出了一种采用唯一的中央仲裁器实现多播的方法。通过基于资源等待图的形式化方法,给出了基于虚切入方式的多级互连网络无死锁的充要条件。仿真试验表明,对于中央仲裁机制,采用3个发射队列,每周期仲裁3~4个请求者的分割传送结构,在很宽的扇出范围内能够达到理想的多播饱和吞吐率。
4)根据以上研究结果,设计了集成全局同步引擎的64(数据)+1(管理)端口千兆以太网交换芯片ES64,并用FPGA进行了实现。实验结果表明,交换芯片的端口带宽能够达到线速,包转发率95.2Mfps,单级延迟208ns,全局同步延迟208ns。在64节点情况下,相对原有点到点实现的全局同步,硬件全局同步延迟可降低为原来1/15。与商用千兆以太网交换机对比测试结果表明,通信密集型应用可降低运行时间10%到83.6%。