论文部分内容阅读
采用目前高速互连技术构建百亿亿次量级(E级)系统将面临系统功耗难以承受、网络拓扑难以实现、延迟显著增加、系统可靠性难以承受、互连网络工程化密度难以提高等诸多挑战。因此需要探索新的互连技术,包括更高阶交换芯片、融合互连体系结构、新型光电互连交换技术等来有效改善互连网络性能,降低互连系统功耗,改善整个系统可靠性及可扩展性。本文通过分析国内外高性能互连网络以及相关核心技术现状,将主要围绕高阶互连交换芯片结构及容错技术、面向内存互连网络体系结构的高速通信接口优化技术、以及下一代100Gbps光串行接口收发器技术及可扩展光交换技术等方面开展研究,以期取得关键技术突破,缓解E级系统通信墙问题,高效支撑E级应用。本文取得的主要贡献和创新点如下:(1)高阶互连路由交换芯片结构及容错关键技术针对更高阶路由器体系结构硬件复杂性大、可扩展性弱、缓冲资源受限、系统鲁棒性差等问题,提出了一种基于聚合瓦片的高阶交换芯片路由器微体系结构(ATR),并提出了基于M/D/1排队理论模型的瓦片性能解析优化方法,能将64阶路由交换芯片存储开销及全局总线开销分别降低40%~50%,同时可获得YARC结构98%左右的饱和吞吐率及交换延迟性能。基于聚合瓦片交换结构,在交叉开关调度方面设计了一种面向高阶交换的公平性波阵面仲裁调度算法,仅利用较少开销实现了时序快、吞吐率高、仲裁公平等特点,与传统DRRM算法比报文平均调度时间和平均响应时间降低约15%和21%;在协议及流控制机制方面,提出了分布式分级路由及动态多队列流控制机制有效缓解了路由器缓冲和输入缓冲资源紧张问题,并最大限度地保证缓冲区按需分配;在容错机制方面,设计了智能化网络管理引擎,并提出了故障检测和故障恢复智能算法,允许自动维持故障场景下的网络稳定性,并相对re-coil路由策略和U-turn路由策略具有更好的网络性能。(2)面向内存互连网络的高速通信互连接口优化关键技术面向高性能计算、大数据、云计算、认知计算等需求,研究E级高性能计算机融合互连网络结构以提供低延迟高可靠带宽平衡的数据访问能力。围绕内存网络体系结构及高速通信互连接口技术,首先面向国产多核处理器提出了一种适应大数据处理的内存网络体系结构,利用内存和互连紧耦合设计无需经过PCI-E接口,有效降低了数据传输开销,同时还能为大数据处理计算系统提供大量内存共享能力。其次提出了内存网络存储控制器中高速通信互连接口结构及优化技术,包括:精简的链路层协议、串行和源同步技术相结合的多组并行总线通道技术、“读命令优先”和“推断写”命令调度技术、多通道并行总线低延迟偏斜结构及虚拟活跃页缓冲器优化技术等。优化后高速通信互连接口能匹配两个存储通道DDR带宽。通过对合成负载和真实负载两种负载在国产处理器平台上测试表明互连接口最高有效带宽为14GB/s,64线程Stream测试激励下总访存带宽为96.99 GB/s,内存访问延迟仅约150ns。虚拟活跃页缓冲器结构能使64线程Stream Open MP程序访存带宽提高16.86%,NPB-MPI程序执行速度提升6%。(3)100Gbps光串行接口收发器技术及可扩展光交换技术针对目前高速互连芯片50Gbps串行接口在功耗密度、资源面积、信号完整性等方面限制因素,开展对100Gbps光串行接口收发器技术研究。基于近年来低插入损耗的硅光子开关获得突破进展,提出一种新的光路时分复用(OTDM)方案,利用级联高速光开关在光路上实现多路的分时复用和解复用,将多路低码率位流复用到单路高波特率光链路上,实现了100GBaud传输。通过引入暗调制模式统一传输链路上的信号幅度,解决跨时钟周期串扰问题,进一步实现5路25Gbps信号的分时复用,将单一波长光载波上实现的传输带宽进一步提升到125Gbps。其次利用光交换低功耗和高阶特性搭建大规模网络解决可扩展性问题。提出了一种基于阵列波导光栅路由器的高性能互连网络架构,通过波长聚合和波长复用构造嵌套分层次2D树拓扑架构,减少了系统所需波长总数,使用8个波长构造一个262144结点规模的系统互连。在一个100000结点的系统中,阵列波导光栅路由器(AWGR)互连网络所需的光纤和交换机数量只有胖树的50%和35%。总功耗仅胖树的40%左右。