机群超大规模互连网络技术研究

来源 :中国科学院计算技术研究所 | 被引量 : 0次 | 上传用户:schunter
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
高性能应用对计算能力的需求永无止境,导致并行计算机系统在不断提高单处理器性能的同时不断增大系统规模。机群以良好的可扩展性、可靠性和高性能价格比,成为高性能计算机系统的主流体系结构。机群系统的扩展性主要体现在机群网络的可扩展性上。随着机群系统规模的不断扩大,对机群互连网络在高性能、扩展性、高可靠和低功耗方面提出了越来越高的挑战。千万亿次量级的高性能计算机在系统规模会接近甚至超过上万个节点。研究并设计出高性能和高可扩展的超大规模互连网络成为未来机群系统成败的关键。超大规模互连网络的关键是能满足上述要求的网络交换芯片。   大端口交换芯片能够有效地提高网络扩展能力,降低网络延迟,成为构建机群超大规模互连网络的关键技术。科学计算应用中普遍存在着集合通信模式,其中以全局同步和多播最为典型。当网络规模很大时,集合通信将成为主要开销。因此在大端口交换芯片中内嵌集合通信加速引擎,也是构建机群超大规模互连网络的关键技术。   本文围绕机群超大规模互连网络,在单播大端口交叉开关、全局同步硬件加速引擎和多播硬件加速引擎三个方面展开研究,并根据研究结果设计实现了一个64端口千兆以太网交换芯片。本文的具体研究成果如下:   1)提出一种两级单播交叉开关微体系结构,能够有效地将一个大端口交叉开关拆分为由片内两级子交叉开关组成的连接结构,大大节省交换逻辑资源。仿真试验结果表明,两级交叉开关结构通过2~3的内部倍频和32KB输出缓冲区,能够达到90%的饱和吞吐率,与其它性能相当的大端口交换芯片结构相比,能节省65.7%的交叉开关逻辑资源。   2)设计实现了一种低延迟的硬件全局同步加速引擎,并在理论上证明其可靠性。分析表明该机制在超大规模机群环境下具有良好的扩展性能。基于仿真模型,研究了单播通信网络和全局同步网的相互影响。试验结果表明混合流控机制下,全局同步延迟在单播饱和情况下受到严重影响,与独立流控机制相比,相差7.8~28.7倍。在独立流控机制下全局同步与单播相互影响较小,全部同步延迟最多增加2个包长的传输时间,而单播的饱和吞吐率影响小于1%。   3)提出了一种采用唯一的中央仲裁器实现多播的方法。通过基于资源等待图的形式化方法,给出了基于虚切入方式的多级互连网络无死锁的充要条件。仿真试验表明,对于中央仲裁机制,采用3个发射队列,每周期仲裁3~4个请求者的分割传送结构,在很宽的扇出范围内能够达到理想的多播饱和吞吐率。   4)根据以上研究结果,设计了集成全局同步引擎的64(数据)+1(管理)端口千兆以太网交换芯片ES64,并用FPGA进行了实现。实验结果表明,交换芯片的端口带宽能够达到线速,包转发率95.2Mfps,单级延迟208ns,全局同步延迟208ns。在64节点情况下,相对原有点到点实现的全局同步,硬件全局同步延迟可降低为原来1/15。与商用千兆以太网交换机对比测试结果表明,通信密集型应用可降低运行时间10%到83.6%。
其他文献
随着人类基因组计划的完成,蛋白质组学受到了越来越多关注。其中对蛋白质翻译后修饰的研究是一个重要的分支,而对翻译后修饰进行鉴定是研究的首要任务。   串联质谱技术是鉴
学位
近些年来,随着新疆经济的快速发展,新疆与内地的交往和联系日趋广泛和深入。但是对于新疆的民族群众而言,语言障碍阻碍了这种交往和联系。最有效的解决方法,就是提高少数民族教师
指令级测试方法是一种通过指令测试微处理器自身故障的测试方法。指令是微处理器芯片区别于其他芯片的重要特点。指令流控制微处理器的运行,可以影响到微处理器所有的内部逻辑
Maze是教育网上非常受欢迎的P2P文件共享系统,本文设计和实现了一个基于Maze的集中式的视频点播系统-MazeTube。   MazeTube的定位是Maze的视频门户。它的主旨,在于充分利用
Modelica语言仿真建模在科研工作中已经得到了广泛应用。它能方便地对包含机械、电子、液压、控制、热流等领域的复合物理系统进行基于组件的仿真。现有基于Modelica语言的仿
近年来,随着多媒体技术和互联网技术的快速发展,现代计算机硬件存储介质价格的不断下降和以P2P技术快速发展为代表的网络传输技术的成熟,使得视频在人们生活中的很多领域变得越
在实时系统中,每个任务都应在某种程度上满足时间约束的限制,任务的正确性不仅依赖于其计算结果,还依赖于这个结果产生的时间。此类系统中应用程序的执行时间应当是确定的,以此保
关于磁盘阵列在线重构的研究一直以来都是国内外研究热点。除了构造严重受限或者极其昂贵的磁盘阵列之外,国内外现有研究一直解决不了重负载持续访问下磁盘阵列重构性能急剧恶
形式化验证主要是通过精确的分析来证明或证伪硬件或软件系统中一些明确的声明或者性质。形式化验证方法在广义上可以分成两大类:模型检测和定理证明。模型检测由对模型的所有
随着P2P成为互联网上的主流应用,以用户资源共享为目的P2P文件共享系统,在安全、版权等方面暴露出了巨大的问题。P2P文件共享系统点对点的分发特性,使其分发内容具有用户自主性