基于RDMA虚拟化的RPC框架设计与研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:caonisbma
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算厂商通过虚拟化技术使用户可以弹性购买各种封装层次的计算资源,无需考虑硬件维护问题,专注于开发本身。但应用程序中的传统TCP/IP网络协议栈是如今性能优化的瓶颈,是构成“数据中心税”的重要部分。在虚拟化场景下,数据包要经过宿主机和虚拟机双重协议栈,网络性能更加恶化。另一方面,高性能计算领域中的远程直接内存访问(RDMA)技术使网络包可以绕过操作系统内核的参与,具有极强的网络性能。但传统RDMA技术主要应用于裸机场景,虚拟化与RDMA的融合是解决云计算网络问题的一个重要方向。RDMA技术和虚拟化网络技术的结合有一个矛盾点:虚拟机的功能实现需要宿主机操作系统(内核)的支持;而RDMA能够获得高性能网络的本质在于旁路宿主机操作系统。如何解决这个问题是RDMA虚拟化技术的核心。在云计算场景下,远程过程调用(RPC)是一种主流的进程间通信方式。RDMA使用Verbs作为编程接口,其与RPC通信库不兼容且具有不同的编程范式,简单的接口转译也无法充分利用RDMA的性能。在公有云虚拟机场景下设计RDMA技术优化的RPC框架将为大量应用带来显著网络性能提升。本文针对以上问题,做了如下工作:RDMA虚拟化的生态尚缺乏宏观总结,本文从模块化的角度进行了论述和总结。梳理后发现通信框架RPC没有可用于公有云且通过RDMA提升性能的工作。本文设计了基于虚拟机的RPC框架vRPC,此框架可以适用于公有云的场景,并对其底层进行了RDMA重构和性能优化。本文利用混合网络I/O虚拟化的方式(即将控制平面的数据包虚拟化,数据平面的数据包使用RDMA网络传输)设计了vRPC的整体框架。这样使得所有控制数据经由操作系统处理,从而复用内核的网络栈获得对网络的控制;而大量通信数据通过RDMA网络绕过操作系统,达到了控制和性能的双重优点。本文在vRPC前后端分离系统中设计了多种优化方法:(1)设计虚拟网络连接,使多条通信链路可以共用RDMA连接链路,从而减轻同一台宿主机建立过多RDMA连接从而造成RDMA网卡内存不足而造成的性能恶化;(2)在截取层与前端设计基于优先队列的通信机制,在保证缓解缓存颠簸下(高频更换buffer),解决了软件层面的瓶颈,高效地利用RDMA的传输流量;(3)设计RDMA信道延迟销毁策略,使下次通信热启动,多个RPC服务对象可以共享一个通信信道,进一步提高性能。本文实现了vRPC的原型系统,经过对比实验证明达到了预期的性能目标:vRPC显著优于可用于公有云的传统半虚拟化方案,其延迟比后者低84%,带宽高1.3倍;甚至也优于基于SR-IOV的虚拟机方案。本文又对vRPC优化方案的性能提升进行了实验和定量分析,最后分析了一个实际应用的通信与计算的时间占比与CPU占用率。最后证明vRPC可以有效提升基础网络性能,减少CPU负载,缩短RPC应用的运行时长。
其他文献
随着能源产业升级、宏观经济形势和市场的改革变化,国家正在大力扶持能源企业新能源与旧能源之间替换转型。自十八大以来,中国发展进入了新的时代,中国的能源发展也进入了新的时代。习近平主席“四个革命、一个合作”的能源安全新型战略,指明了新时代中国能源发展的方向,为中国特色能源发展开辟了新道路。处于这样的大环境下,作为天然气公司主要业务的工程项目,其造价的内部控制合理性对于对工程质量、降低成本和提高满意度等
学位
在相当长的一段时间内,国有企业发展迅速且稳定,在经济生活中占据重要地位,但随着市场经济的发展,国有企业的发展出现乏力的现象,各个国企也在寻求更好的发展渠道。在寻求改变的过程中,不同的国有企业选择了不同路径,其中,引入战略投资者的方式受到一些企业的青睐。本文选取格力电器为研究对象,分析发现格力电器在宏观角度响应国家政策、中观角度应对行业激烈竞争、微观角度突破自身发展瓶颈的动因之下,选择引入战略投资者
学位
Linux操作系统用虚拟内存技术和请求换页技术管理物理内存。系统只将当前进程运行所需的页加载到物理内存中并建立它与逻辑地址之间的映射关系。而其他暂未用到的页面的数据依然驻留在磁盘中。当内存紧张时,Linux操作系统通过页面交换算法和调度算法把物理内存中不太活跃的页面换出,从而为其他需要换入的页腾出内存空间。通常,Linux系统将匿名页换出到了磁盘中的交换区中暂存,而磁盘I/O的速率相较于内存显著降
学位
名词谓语句作为日语最基本的句式之一,历来相关研究众多。通常,构成名词谓语句的典型名词为具体的,意义充实的实义名词,不易发生语法化。构成助动词句的名词为抽象的,意义虚化的形式名词,易发生语法化。而句末名词,既保留了一部分实义,又呈现出语义虚化的现象,语法化不彻底。因此,当三者都和“だ”结合使用时,就会按照“实质名词+だ”→“句末名词+だ”→“形式名词+だ”的顺序,发生不同程度的语法化。本文在既往研究
学位
口译作为一种重要的翻译形式,在文化交流中发挥着不可替代的作用。对于外国学生和旅行者来说,了解一个国家或一个地区的文化最便捷的方式之一就是参观当地的博物馆。本报告是基于一次吉林省博物馆参观游览的陪同口译实践。笔者应邀陪同吉林大学四名来自尼日利亚的留学生参观吉林省博物馆,并为其提供导游口译服务,任务过程中导游的讲解词和口译员的交替传译内容都被用录音笔记录下来。由于时间的限制,任务前的准备只涵盖了博物馆
学位
本文是基于2021年8月22日作者作为口译员陪同一位南非游客参观长春博物馆的经历所做的一篇实践报告。讲解员对馆内的各处历史文物,古生物化石以及艺术品典藏等都作出了详细的介绍。此次导游口译对帮助客户了解长春,了解中国东北,特别是中国文化具有一定的帮助。作者在口译之前做了较为充分的准备工作,包括在长春博物馆的官网上阅读相关介绍、收集平行文本、制作术语表等。任务开始前,作者已向导游和客户征得许可,将整场
学位
中国文化源远流长、博大精深,在五千年的历史发展中留下了许多文化瑰宝,水墨人物画就是其中之一。中国的水墨人物画是中国画中十分重要的一个分支,它吸收了中国传统绘画的精髓,融合了西方绘画的美学思想,因而具有较高的艺术价值。随着当代艺术思潮与绘画语言的不断扩充,水墨人物画表现形式呈现出多样化的趋势。卓越的水墨人物画家根据当下人们的生存方式和生活状态,在继承传统的基础上,大踏步地向前发展,逐渐形成了具有时代
学位
安部公房(1924-1993)是日本著名的小说家、剧作家和演出家。在日本文学史上,与三岛由纪夫等人被称为“第二次战后派”。《他人的脸》(1964)是安部公房“失踪三部曲”中的第二部作品。六十年代的日本处于经济高速发展期,人们的生活发生了根本性变化。快速的经济发展给人们带来了丰富的物质生活,但同时也增加了人们的孤独和焦虑。《他人的脸》这部作品探讨了都市化进程中个体的存在问题,对于如今的社会依然具有较
学位
随着社会经济的的快速发展,可持续发展问题愈发成为全世界的焦点,能源与环境问题是我们全人类要面临的重大课题。然而常规化石能源的使用造成了很大的环境污染,并且十分有限又不可再生。高温岩体地热能源,又称为干热岩(HDR,hot dry rock)地热资源,它是一种清洁可再生并且拥有巨大储量的资源,而且分布十分广泛。开采储存在其中的热量是要经过人工改造形成的增强型地热系统(Enhanced Geother
学位
我国大部分省份都着重强调了要促进“互联网+政务服务”发展,且将此作为政府部门的首要工作任务。国务院出台了《关于加快推进“互联网+政务服务”工作的指导意见》等多个政策,此后,“互联网+政务服务”逐渐的在我国普及。“互联网+政务服务”的新模式成为了信息化时代政府职能转变和优化升级服务的重要举措,也反映了政府机构治理模式向现代化转型。“互联网+政务服务”的政策体系不断成型,全国政务服务平台建设不断规范,
学位