用户态RPCover RDMA优化技术的研究与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:wangxd
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
RPC作为分布式系统中广泛使用的组件,对于其带宽利用率、吞吐率以及网络时延的要求越来越高。传统的基于TCP/UDP套接字实现的RPC组件其性能已面临越发严峻的挑战。目前高速InfiniBand网络已经得到了广泛的应用。InfiniBand网络支持RDMA技术,基于RDMA技术实现RPC可以获得较好的性能,有效的支持各类分布式系统。用户态RPC over RDMA是基于用户态IB verbs接口实现的RPC组件,通过用户态IB verbs接口提供的零拷贝技术和内核旁路技术,可以提供高带宽低延迟的网络传输性能。当前基于IB verbs接口实现的RPC组件多使用RDMA_READ的方式实现远程内存访问,如果适当的使用RDMA_WRITE方式进行传输,可以明显简化RPC组件的网络交互过程,对这一优化方法进行了详细描述。同时,针对RPC组件使用IB verbs接口产生的内存注册开销较大的问题提出了一套在RPC层进行内存管理的方案,主要思路是对注册过的内存块反复使用,从而减少内存注册的次数,由于在很多情况下,传输所涉及的内存块的分配和回收是由上层程序主导的,所以需要对ONC RPC标准接口进行了扩充,增加内存管理接口使得上层程序可以使用由RPC层所管理的内存块。通过对优化前后RPC over RDMA组件对比测试,以及和同等条件下TI-RPC的对比测试,分别验证了上述两方面的优化效果。结果表明,对传输模型的优化明显提升了用户态RPC over RDMA服务端向客户端返回数据时的性能,对内存注册的优化使得用户态RPC over RDMA在小块传输时有了更好的性能,拓宽了其对于传输块大小的适用范围。
其他文献
边框纹样是我们身边最常见的纹样之一,早在中国历代传统图案纹样中就已出现,这些纹样被人们广泛应用于日用器皿、青铜器、礼器、雕刻品、漆器等工艺美术作品中,既有实用价值
随着信息化的发展,业务流程软件越来越受到企业的重视。企业使用流程的原因,一、可以协同各个岗位的工作,并能监控业务流程;二是协助多任务、多角色、多协作应用系统的开发。但在
网络是当代信息社会的重要基础设施,也是一个具有相当复杂性的系统。对网络的运行的管理,无论从社会、商业和技术的角度来看都愈益重要和迫切。网络测试是对网络进行监控、管理
Hadoop分布式文件系统(HDFS)是一个被广泛应用的分布式文件系统,它基于传统TCP/IP网络,由于传统网络的局限性,HDFS只能掌握节点的运行状况,比如节点的磁盘I/O,CPU和内存资源信息以及
自互联网诞生以来,尤其是最近几年移动互联网、物联网和云计算的发展,催生了网络数据的指数级增长。这给存储系统造成了极大的压力。为保证数据的可靠性,存储系统通常采用多
随着应用不断深入,在社交网络服务、科学计算仿真等场景中,图数据持续、大量产生,对其进行快速、有效分析具有十分重要的意义。在某些对精确度要求不是很高或者只要求反映部
学位
“网构软件”是一种流行的网络资源整合模式,它由分布式的、具有主体化特征的软件实体组成,能够感知环境并通过动态演化来适应外部环境的变化。SOA是软件架构技术发展史上的
近几年,随着网络规模的不断扩大,网络中海量的资源给传统网络应用带来新的挑战。基于网络资源(包括CPU处理、存储、服务等)的不断增多,其组织、获取、分析、处理等操作也逐渐
为了支持海量数据的存储需求,随着存储系统容量的提升,元数据作为描述数据特性和存储位置的结构化信息,其存储需求也急剧增加。分布式存储系统的设计趋势是明确划分出元数据服务