基于InfiniBand的Java集群通信研究

来源 :中国科学院计算技术研究所 | 被引量 : 0次 | 上传用户:catchersun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
InfiniBand(IB)是一种高带宽低延迟的工业标准高性能互连网络,具有支持RDMA等高级特性,是目前高性能集群计算系统内部互连的主流技术之一,为提高Java应用集群系统的通信性能提供了可能。但当前Java应用只能通过仿真协议(IPoIB或SDP)间接使用InfiniBand网络,导致Java应用集群系统不能充分利用InfiniBand网络的通信能力。随着Java集群被广泛部署于企业应用环境中,作为商业计算的重要平台,原本为低速以太网设计的通信库已不能满足现有应用的需求。研究基于InfiniBand的Java集群通信,不仅可以改进Java应用集群系统的通信性能,提高Java应用集群系统在通信密集型应用环境中的服务能力和服务质量,而且对推动Java在新型网络架构中的应用,提高互联网信息服务企业的应用效率具有重要意义。   本文设计并实现了基于InfiniBand网络的高性能Java集群通信库jStream,突破了Java不能直接使用InfiniBand网络的限制,为Java应用直接利用InfiniBand网络的RDMA机制提供了支持,使Java应用集群系统可以充分利用InfiniBand网络的通信能力和性能优势,提高了Java应用集群系统的通信性能,解决了I/O性能制约Java应用集群不能在通信密集型应用环境中有效发挥作用的问题。本文首先在对相关研究进行分析的基础上提出了jStream的总体结构和设计思想,然后介绍了在jStream具体设计与实现中采用的具有创新性的关键技术,包括控制/数据独立双链路、缓冲区预注册与回绕算法、非实时确认策略、RDMA异步零拷贝发送机制,以及零拷贝和一对一映射的Java API封装。   本文的实验结果显示,Java使用jStream通信库无论在带宽还是延迟上都达到了和本地编译的C程序相接近的性能,与Java通过传统socket接口使用SDP的性能相比有了大幅提高;而jStream通信库的native流通信协议的性能也远超过SDP,并达到了与底层InfiniBand Verbs相当的水平。实验结果充分说明jStream是一个高性能的Java集群通信库,能够满足通信密集型应用环境中Java应用对延迟和带宽的要求。Java应用通过jStream直接使用InfiniBand网络比通过传统Java Sockets接口和IPoIB、SDP等仿真协议间接使用InfiniBand网络能够获得更好的性能。   本文涉及底层网络驱动、集群通信管理,以及Java通信接口技术,在不同的层面用不同的编程语言解决了相应的问题。jStream可以部署在以InfiniBand互连的Java集群中,直接为Java应用或MPJ等分布式通信范型提供支持。
其他文献
工业无线网络技术是继现场总线之后,工业控制领域的又一个热点技术,是降低工业测控系统成本、提高工业测控系统应用范围的革命性技术。无线HART规范作为第一个开放的工业无线网
目前网络发展日新月异,网络的复杂性也随之不断增长,对网络管理的要求也日益增加具体表现在管理功能的增强和管理对象的扩大,这使得网络管理管理系统逐渐成为网络运营和维护的一
随着深亚微米工艺技术的快速发展,SoC技术成为超大规模集成电路发展的必然趋势。在SoC平台上集成视频系统有着极高的实用价值,对于其在手机通信、数码相机、监控系统、影音播放
随着人类社会的发展,城市规模逐渐扩大,三维数字城市为人们规划管理城市提供了一个高效的信息服务平台。大规模城市建筑物群的构建和渲染是三维数字城市工作中的一个不可或缺的
由于机群具有低成本、易管理、易扩展等优势,在高性能计算领域中机群架构所占的份额越来越大。机群性能的提高以节点规模的扩张为代价,因此,人们对计算能力的不断追求同时带来了
云计算的出现与发展使得传统的计算单元由物理机变成了虚拟机,应用程序运行于虚拟机之上,虚拟机则寄宿在物理机上,虚拟机的部署对云环境的资源使用率、负载均衡、虚拟机的性
近几年来,随着地理信息系统(GIS)不断应用和推广,空间数据库的研究取得了非常大的发展。空间查询作为空间数据库最核心的功能之一,其性能成为决定空间数据库性能的关键因素。但
信息技术不断发展和变化,对人类生产方式、生活方式以及学习方式产生了巨大影响和深远意义,人类正在经历信息文明。信息技术已经渗透和融入到各行各业,在教育领域,信息技术正在推
随着集群系统应用范围的扩大以及规模的增加,其管理复杂度和成本也随之大幅度地提高,而资源利用率却没有得到显著提升。为了有效的解决这些问题,近几年来,学术界和工业界出现了很
随着计算机技术和Internet技术的迅速发展,企业的信息化管理需求越来越高,许多企业、学校等机构纷纷建立了自己各部门的信息系统。然而随着信息化建设的加快,在实际应用中我们经