基于NVM的分布式后端存储设计与实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:bavai
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式存储系统提供可扩展、高可靠、高可用的存储服务,由客户端和服务端集群共同组成。分布式后端存储是服务器端用于管理磁盘硬件空间的软件模块。非易失性内存(NVM)具有可字节寻址、读写不对称的特性,访问性能与DRAM处于同一数量级。随着傲腾持久内存产品的问世,已有许多前辈提出面向持久内存优化的索引数据结构,但将其应用于生产环境中仍需要进行大量研究探索工作。本文在深入调研非易失性内存和分布式后端存储引擎Blue Store的基础上,设计并实现当前生产环境下可应用的分布式后端存储。Blue Store使用Rocks DB存储元数据与延迟写数据,以满足分布式后端存储中的一致性需求。但Rocks DB所依赖的日志结构合并树(LSM-tree)具有严重的读写放大问题。此外,传统预写式日志数据落盘路径长,且无法进行并发写入,容易成为写操作的瓶颈问题。因此,本文将位于读写关键路径中的预写式日志和块缓存存储在持久内存中,充分利用持久内存的高性能解决分布式后端存储中的瓶颈问题。同时根据数据特性定制非易失性内存的空间管理方案,以提升分布式后端存储的整体性能。具体工作与创新点如下:1)借鉴Blue Store的架构,使用Rocks DB作为事务性保证的数据库引擎,并为其定制轻量级的用户态日志文件系统,减少传统文件系统层次结构带来的开销。2)采用绕过CPU缓存的微指令,基于Mmap-DAX方式大幅缩短预写式日志的写路径长度。并调整预写式日志的格式,以充分利用持久内存可字节寻址的特性。此外,将列簇与预写式日志绑定,分离日志条目生命周期,实现预写式日志文件层面的并发写操作。3)应用DRAM-NVM两级缓存结构,释放DRAM缓存空间的同时,增加持久化缓存层,提高读取效率,缓解读放大问题。与此同时,建立持久内存缓存算法评价机制,采用网络流对缓存访问请求序列与成本进行建模,根据最小成本最大流算法的结果选择更为适配持久化缓存的替换算法。4)对预写式日志和持久化缓存采用差异化空间管理方式。预写式日志应用大页管理,减少元数据开销。持久化缓存基于堆管理器进行空间分配与回收,元数据存储在DRAM中,减少持久内存写操作,延长存储介质使用寿命。5)对基于NVM的分布式后端存储进行测试。与Blue Store相比,NVM上的后端存储写性能高出一个数量级,写带宽达到2.1GB/s,平均延迟约410ns。分布式后端存储在持久内存上的测试数据与持久内存硬件基准测试趋势相符,说明设计方案充分发挥了持久内存存储介质的硬件优势。
其他文献
报纸
碳量子点(Carbon quantum dot,CD)是近年来兴起的一位具有光活性的碳家族新成员。由于光学性质优异、易于表面改性和原材料成本低等特性,CD受到了极大的关注,在刑事侦查中,潜指印(Latent fingerprints,LFP)是最常见的物证,粉末显现法是潜指印显现最受欢迎的方法。便于携带的CD粉末在潜指印显现中表现出很大的潜能,但是也存在一些问题亟待解决。例如:CD粉末不可避免地存
学位
井冈山斗争时期(1927.10-1930.2)是中国共产党发展史上的一个重要转折点,既是大革命失败后中国共产党人开拓新的革命道路的关键时期,同时也是中国共产党独立领导的人民军队——红军的初创时期。这一时期,我党面临着如何加强红军教育,确保以农民为主体的红军的无产阶级性质;如何加强红军教育来提升红军的思想文化水平和军事素养,以维护根据地的发展,保证革命的顺利成功等问题。基于革命斗争和红军个人发展的需
学位
癫痫是一种由大脑神经元高度同步放电引起的短暂性脑功能障碍综合征,其发病率及致残率均较高;虽然目前对癫痫的治疗方法层出不群,但癫痫治疗仍然以药物治疗为主,仍有约30%的癫痫患者在服用抗癫痫药物后时仍有癫痫发作。已有临床研究和基础研究均证实了癫痫发作和神经元的异常兴奋性痫样放电活动均存在昼夜节律模式,在分子层面,昼夜节律是由一系列的核心节律基因及其相关蛋白组成的转录-翻译反馈环路产生的,Bmal1作为
学位
随着网络流量的增加和网络安全问题的日益严重,网络流量的监控分析变得至关重要。DNS协议由于其特殊性以及设计之初并没有考虑安全的问题,导致与DNS协议相关的攻击越发频繁,攻击人员通过将数据封装在DNS报文中以逃避检测。随着一些开源的DNS隧道工具的出现,越来越多的人能够轻易地获取这些工具,并利用其进行非法活动,如绕过防火墙访问互联网、访问被禁的非法网站、注入恶意指令,甚至对个人、企业、政府的重要数据
学位
目的:了解胸腔积液(Pleural Effusion,PE)患者的病因构成及不同病因导致PE临床特征的差异,通过分析胸水LDH/ADA探讨其在PE的诊断价值,为胸腔积液的病因诊断提供参考依据,从而进一步提高对胸腔积液的诊疗水平。方法:回顾性分析从2016年1月到2021年1月榆林市第一医院呼吸与危重症医学科因PE住院患者的病例及一般资料。根据患者PE的不同病因分成良性组和恶性组,进一步把良性组分为
学位
目的:探讨肘后正中入路与肘前后联合入路两种不同手术方案治疗尺骨冠状突O’DriscollⅢb型骨折的临床疗效,明确两种手术方案优劣之处。方法:通过回顾性临床疗效研究分析西安市红会医院收治的尺骨冠状突O’DriscollⅢb型骨折患者的临床资料,依据纳入与排除标准共纳入73例患者,其中男38例,女35例;年龄21~61岁,平均38.11±9.12岁。左侧29例,右侧44例。致伤原因:交通性损伤29例
学位
提出了一种采集高动态范围多光谱反射率的实验方法,并通过测量5个非均匀混浊介质样品在全视场照射条件下和500~940nm波长范围内的反射图像数据证明了本方法的可行性。同时采用在辐射传输理论框架下建立的并行iMC蒙特卡罗仿真模型,通过使用漫反射标准板准确记录入射光束能量分布,输入至iMC仿真程序,获得可与反射率测量数据相比较的反射率仿真图像数据。本文工作为求解根据反射率确定非均匀混浊介质样品的光学特征
期刊
目的:脐带间充质干细胞来源的外泌体(MSC-EVs)对肺纤维化(PF)的治疗作用及可能涉及到的相关机制的探究。方法:(1)外泌体的分离及鉴定:收集西安市中心医院妇产科正常分娩的新生儿脐带组织,于无菌操作台上剪碎后用干细胞专用培养基培养。当细胞汇集达70%-80%时,进行一次传代。当传至第五代时,收集细胞上清。先经300×g及2000×g分别离心10分钟,然后用10000×g离心机离心30分钟,最后
学位
研究背景内脏痛属于病理性痛,是内脏器官受到伤害性刺激所致的疼痛,是一种临床上常见的病症。课题组前期研究发现,病理性痛状态下的痛觉内源性调控出现可塑性变化,具体表现为痛觉下行抑制作用和易化作用的稳态失衡。然而,涉及内脏痛是否也伴随痛觉内源性调控作用的稳态失衡,目前国内、外未见相关报道。尽管,课题组前期已提出“不引起明显痛感”的温热刺激治疗方案,然而科研人员不甚清楚上述治疗方案是否对源于内脏的病理性痛
学位