面向数据中心的RDMA高速网络服务通用平台

来源 :南京大学 | 被引量 : 0次 | 上传用户:fano
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
网络I/O一直是分布式应用的瓶颈。为此,相关研究者提出高速网络RDMA(Remote Direct Memory Access)技术。RDMA具有卸载TCP/IP协议栈和用户态下处理数据传输的工作方式,它首先在高性能计算领域得到广泛应用。随着其硬件价格的降低和RDMA over Ethernet的出现,数据中心也将RDMA引入。它的低延迟、高带宽、CPU轻负荷的特点,为许多传统分布式应用的设计提供了新思路,也对新兴的大数据处理、云计算服务等起到性能保障。现有的利用RDMA技术加速分布式系统的工作都是将RDMA网络模块与整个系统紧耦合。系统设计者通常以一个高速网络模块的角度来使用RDMA,试图来解决跨节点间的数据传输瓶颈。当将这些系统部署到数据中心或者云计算环境下,就会产生资源浪费、恶性竞争、较差的数据本地性、可扩展性不够等问题。此外,将RDMA网络模块与特定系统紧耦合这种方式,不但增加系统设计者的负担,还在系统维护成本、软件复用、大规模部署等方面有所损害。基于上述原因,我们设计并实现一个提供RDMA高速网络的通用平台RDMAVisor,以守护进程的方式存在,向应用程序提供简单易用的接口来调用RDMA高速网络服务。分布式应用设计者通过这些接口,来获得类似于系统服务一样的RDMA高速网络数据传输服务,从而能够专心于应用逻辑的设计和实现。本文的主要贡献有以下4点:(1)设计并实现面向数据中心的RDMA网络服务通用平台RDMAVisor;(2)对RDMA中各种服务类型和操作进行分析,以自适应调节参数的方式,为各种类型的分布式应用提供用户态下的数据传输服务;(3)通过复用RDMA连接实体,减轻甚至解决了RDMA的可扩展性问题;(4)针对RDMA原生操作如RDMA Remote Atomic的不足,RDMAVisor在守护进程层级向用户提供Remote Atomic操作,以更高效的方式替换掉RDMA原生操作。
其他文献
当今社会信息处理在人们的生活、工作和学习活动中发挥着不可缺少的作用,其重要性越来越突出,信息化带来的效益也越来越显著。为了稳定高效地从信息处理中获得收益,必须保证信息
本文主要研究基于图像处理技术的靶场目标检测的算法。在靶标检测过程中权衡精度和速度需求,本文将靶标检测的方法分为粗检测和精检测两步。粗检测是利用图像灰度预处理、图像
最早的呼叫中心出现在20世纪60年代,当时的呼叫中心只能提供单纯的语音接入服务,所有的服务都要由坐席代理手工完成。呼叫中心的发展经历了三个主要阶段,从最初的人工热线系
面向对象方法作为一种成熟的软件开发方法已经在国内外广泛应用,近年在我国金融行业引起重视。人民币结算账户管理和监控是人民银行的一项重要职责,2004年6月至2005年2月,中国人
随着Web技术和电子政务的发展,基于Web的电子政务应用系统也成为研究和开发的热点。设计并开发一个安全,灵活,可移植,可维护,运行效率高的基于Web的电子政务应用系统成为我国软件
术语是为有效表达领域知识而产生的词语单元,其计算至少分为单元度(指一个符号串作为词语出现的可能性的度量)的计算和领域性的计算两方面。 本论文重点研究单元度的计算方
随着集成电路的进一步发展,波长为13.5nm的极紫外(EUV)光刻技术成为前沿和趋势。由于EUV辐射被包括空气在内的几乎所有物质强烈吸收,EUV光刻机须在真空环境中运行。因为在光刻
访问控制是安全服务中一种重要的机制,它能够保护系统资源免遭非法使用。传统的自主式或强制式访问控制策略在强度和灵活性方面不能很好地满足分布式系统的要求,而基于角色的
本文的研究以一个已经实现的B2级安全操作系统为基础,对安全操作系统审计子系统设计与开发的若干关键技术进行了研究,整体论述了基于访问验证保护级安全操作系统的审计报警模块
动物机器人指一类以活体动物为载体,通过脑机接口技术,将外部的控制指令转换成微电刺激施加于动物大脑,从而实现动物行为调控的新型机器人系统。随着动物机器人控制技术的不断发