基于RDMA的键值存储系统传输优化与容错

来源 :南京大学 | 被引量 : 0次 | 上传用户:adzqx2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着内存计算逐渐成为主流的大数据分析方式,内存键值存储系统因其访问速度快、可扩展性强而被广泛应用。但是面对日益增长的大规模数据处理需求,网络性能逐渐成为了键值存储系统的一个主要瓶颈。另一方面,远程直接内存访问(Remote Direct Memory Access,RDMA)技术允许机器从另一台机器的预先注册存储区中读写内存而不涉及远程CPU中断,能够实现低延迟、高吞吐量和低CPU开销,为消除上述瓶颈提供了机遇。然而,现有基于RDMA的键值存储系统大多简单直接地应用RDMA,缺乏对键值存储系统自身特征的考虑,从而难以充分挖掘RDMA的传输性能优势。此外,针对键值存储系统常见的存储节点故障问题,现有系统主要采用多副本备份策略或纠删码容错策略,但前者会造成高额内存开销,而后者会带来高额CPU占用,从而影响系统整体性能。针对内存键值存储系统的上述问题,本文基于RDMA verb通信语义提出了一种传输优化方案,并建立了基于纠删码与RDMA计算卸载的容错机制,从而提高了传输效率、降低了CPU占用与容错冗余开销。具体贡献如下:(1)针对RDMA传输性能未能充分挖掘的问题,本文采用更低时延的单边RDMA write语义重新设计内存键值存储系统的GET指令与PUT指令,使得一次往返传输,即可完成数据访问的GET指令,从而极大地降低传输时延,并释放客户端CPU开销。针对单边write操作旁路远端内核带来的远端读写竞争问题,提出了在服务器端RDMA内存中引入监听线程与优先队列,将多客户端并行指令转成轮询式串行处理的解决方案。(2)针对键值存储系统节点故障常态化问题,建立了基于纠删码与RDMA计算卸载的容错机制。该机制使用存储冗余较小的纠删码方案进行数据冗余与校验,并针对采用纠删码带来的高额CPU计算量的问题,利用RDMA网卡硬件的可编程能力,将纠删码的编解码计算由CPU卸载到网卡进行,与发送端write高性能传输组成流水线交替式工作,从而解放发送端CPU资源,降低服务器端容错存储和恢复解码的开销。基于真实环境的实验结果表明,与原有键值存储系统相比,本文提出的设计能够降低时延32%,提升客户端吞吐率16%,降低客户端CPU负载60%,且减少存储开销65%。
其他文献
表面增强拉曼散射(SERS)能够快速、精确的应用于分子结构信息的分析,对于检测低浓度物质具有重要的意义。飞秒激光加工技术以其超快速、超强功率等特点成为制备表面增强拉曼基底的理想方法之一。通过本课题组提出的电子动态调控的思想,我们使用飞秒激光对金属材料进行加工,通过不断优化实验参数,在空气环境下一步法制备出高灵敏度、高均匀性的表面增强拉曼基底的主要研究工作和创新点总结如下:(1)飞秒激光传统脉冲和脉
本文基于对福建省冬季强降水进行统计分析,关注在冬季风偏北气流冷干空气入侵下的沿海复杂山脉环境中的强降水,省内冬季仍可发生50mm—200mm的日降水。采用EOF、REOF、North检验等方法对2011—2016年12月、1月、2月欧洲中心的福建冬季降水资料进行分类,依据福建气象服务中心发布的暴雨中心位置,选取位于福建内陆的第1、第4两个模态,并依据时间序列分别对两模态进行样本合成分析,第1模态合
在新媒体时代,随着信息技术的不断进步,互联网从各个方面影响着人们的习惯。在这个信息化的时代,人们的生活方式、学习方式都发生了很大的变化,其中阅读方式和以往相比也发生
本文研究了四元数值分流抑制细胞神经网络的拉格朗日指数稳定性问题以及在脉冲影响下带惯性项神经网络的指数稳定性问题.对于前者,当激活函数满足一定的条件时,结合Lyapunov函数方法和不等式技巧,以及代数条件和LMI条件这些充分条件来确定系统的稳定性,同时对不同的全局指数收敛域进行了估计.对于后者,利用Lyapunov函数不等式和Holandry微分不等式,推导出在脉冲影响下的惯性项神经网络是全局指数
大气和海洋中湍流特性是普遍存在的,故大气和海洋的物理性质和动力过程非常复杂,因此湍流运动一直是大气与海洋边界层等理论研究的热点,而边界层感受性是层流向湍流转捩的初始阶段,在湍流成因中起着非常重要的作用,所以对该问题的研究不仅有助于湍流理论的完善,而且在海洋和大气理论研究中也有着广阔的应用前景。本文基于不可压缩Navier-Stokes方程,通过高精度高分辨率的紧致有限差分格式与傅里叶展开相结合的方
当今时代信息交互量日益增加,在不同的采集设备、测试环境、时间段和姿态等弱约束条件下进行身份识别必然成为生物特征技术发展的趋势。然而在弱约束条件下,采集到的手背静脉
欧盟作为地理标志专门法保护的代表,建立了非常完善的地理标志保护制度,并且随着实践不断完善。而香槟冰糕案(Champagner Sorbet),是欧盟最新的地理标志司法案例,欧洲法院针
二氧化锡(SnO_2)作为一种环境友好型半导体,被广泛的应用在透明导电薄膜及光催化等领域。本文分别制备了两种形态的掺杂二氧化锡-碳纳米管复合材料样品,并分别研究了其作为透明导电薄膜和光催化剂的物理和化学性质及相关机理,具体包括:采用喷雾热解法制备了添加碳纳米管(CNT)的氟-铌共掺二氧化锡(NFTO-CNT)复合薄膜。实验结果表明,添加CNT对NFTO薄膜的晶体结构没有产生影响,仍保持了四方金红石
中牌号无取向硅钢B50A600主要用于制造各类电机、压缩机的铁芯。随着国家节能政策的实施,其低铁损、高磁感的重要性逐步显现。但在使用该材料进行冲片时,其加工性能往往不能令人满意。在电磁性能保持目前水平的前提下,提高材料的机械性能,成为各硅钢生产企业新的目标。本文研究了B50A600硅钢生产中的关键因素如磷元素、热轧工序中板坯出炉温度、带钢卷取温度、层流冷却方式以及在连续退火机组调整退火温度等对无取
本文主要内容讲述两个部分:第一部分是基于光催化环烷醇碳碳键断裂的胺化反应的研究;第二部分是钯催化Fujiwara-Moritani反应的研究。首先我们描述了一种通用且操作简单的基