基于InfiniBand的Java集群通信技术研究

来源 :中国科学院计算技术研究所 | 被引量 : 0次 | 上传用户:jfskldafkld
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
InfiniBand是一种高带宽、低延迟的支持RDMA传输方式的高速互连技术,由于其传输方式的特殊性,现在主要在高性能服务器的设计中使用。随着Java集群被广泛部署于企业集群环境中,作为商业计算的重要平台,原本为低速以太网设计的通信库已不能满足现有应用的需求。研究Java技术如何利用InfiniBand实现高性能的集群通信,不但有益于探索用户态zero-copy协议的有效使用方法,而且可以推动Java在新型网络架构中的应用,提高企业应用的效率,对现在众多企业更好地进行信息化具有重要意义。   首先,本文对当前主要的集群通信技术做了评估,分析得出了影响Java网络通信的两个关键因素:数据拷贝、I/O完成事件通知机制。传统网络的网络设计及中断的通知方式,使得服务器在数据传输过程中占用大量CPU资源,直接影响了服务器的服务能力和可扩展性。   之后,文章基于用户层通信协议(ULP)设计了JStream通用通信库,负责管理使用RDMA的传输控制,包括缓冲区管理和流量控制等;在对JStream进行性能评估过程中发现RDMA单边通信的完成处理策略和JStream的API设计成为性能瓶颈,本文重新设计了JStream的结构(使用精简的API设计),并优化了RDMA单边通信的完成处理策略,不但可以维持API的RDMA语义,而且可以提高通信效率和降低CPU利用率。实验表明,重新设计的JStream通信库,比较好的解决了数据拷贝和I/O完成事件,使得延迟性能有了显著提高。   为了验证JStream在实际应用中的效果,本文还设计了基于JStream的RMI,用于实现面向对象语义的集群通信,实验评测表明,RMI的性能也有了较大的提升,同时,如果在JStream基础之上设计相对应的java.io包,减少Java堆间拷贝,可以获得更好的性能。   本文所做工作涉及底层网络通信、Java虚拟机以及Java中间件,在不同的层面解决了不同的问题,设计并实现的JStream和改进的RMI可以部署在以InfiniBand互联的Java集群中,提升系统整体性能,本文的工作还对实现相关系统的整体优化有很好的参考意义。
其他文献
流程企业中的信息主要包括管理数据和过程数据,随着企业信息化进程的推进,实现管理数据和过程数据的集成对提高流程企业生产管理与决策的质量、效益和水平起到越来越重要的作用
随着信息技术的不断发展和计算机网络的日益普及,网络安全问题日趋严重。现有的安全技术与产品主要应用和部署在网络层,在一定范围内能保障网络系统的安全,但在实际应用中,更需要
随着计算机的普及使用,网络及其相关技术的迅猛发展以及由网络带来的各种益处和便利,使人们日常的工作、生活、学习发生了彻底的改变,网络事实上已经成为社会经济发展的重要基础
本课题是中国科学院网络信息中心超级计算中心自研项目“高性能科学计算环境SCE”的一个重要组成部分。在高性能计算环境中,通过对资源状态、网络连接状态、应用程序运行状态
管道支吊架设计在工厂设计中占有非常重要的地位。管架设计工作量占管道布置设计工作量超过30%,在一些特殊行业如核电站项目中达到50%以上。在包含大量复杂工艺管道的工厂设计中
离散曲面在现代工业设计、有限元分析、计算机图形学和计算机辅助设计领域中发挥着重要的作用。通过三维扫描设备重建得到的离散曲面,其质量往往不能满足后续曲面编辑、数值分
作为20世纪新技术革命的重要标志之一,互联网技术发展给整个人类的社会与生活带来了意义深远及影响广泛的变革。随着互联网规模的迅猛增长与应用范围的拓宽,传统IPv4协议已不
随着卫星、CT成像等传感器的广泛应用,空间数据的数量和复杂性都在飞快地增长,但空间数据的处理技术却相对落后,因此,空间数据挖掘成为了数据挖掘的一个新的研究领域。空间离群点
近年来各种对等通信业务如即时通信、文件共享和多媒体分发等应用广泛流行,已超过Web应用成为占用互联网带宽最多的网络应用。然而,因IP地址短缺、网络接入设备增多、互联互通
高速公路交通事件的快速检测,对及时有效地进行交通事故救援和处理、有效减少由于交通事故产生的交通延误及避免二次事故的发生具有重要意义,是智能交通系统中的重要组成部分