基于纠删码的分布式存储系统中更新策略的研究与实现

来源 :东南大学 | 被引量 : 0次 | 上传用户:jsptpd_dryy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式存储系统中普遍采用多副本机制作为容错机制,多副本策略实现容易,读写简单,容错性能可以随着副本数的增加而增强,但随着数据量不断增大,多副本机制会造成存储成本过高的问题。于是纠删码技术作为一种新的容错机制被逐渐引入分布式存储系统。纠删码通过对数据编码解码来实现数据的存储恢复,不需要完全复制数据,只需要编码生成多个校验数据块即可,从而可以大量降低数据的冗余度,降低存储系统的存储成本。同时,如何更有效的保护重要数据,提高分布式系统的安全性已经成为计算机网络应用中亟需要考虑和解决的问题,数据存储和数据传输是分布式存储系统中涉及安全问题的两个重要部分。在纠删码存储系统中,数据被编码存放在不同的存储结点,一定程度上增强了系统的安全性,但是数据仍旧容易被泄露。在分布式存储系统中,数据的访问频率、访问次数、更新频率等存在很大不同,主流的分布式文件系统例如HDFS、Ceph和GFS等均只支持文件的读写和追加,不会涉及复杂的更新操作,但是在实际的企业服务器和网络文件系统中,数据更新占比很大,所以在分布式存储系统中支持更新操作非常必要。同时,在基于纠删码的分布式存储系统中,纠删码中的生成矩阵包括单位矩阵和编码矩阵两部分,单位矩阵用来保留原始数据信息,编码矩阵用来生成冗余信息,采用这样策略的主要原因是加快读写速度,但是在信息安全极为重要的今天,这种策略不能够有效保证数据的安全性。为了扩展目前主流的分布式存储系统,并针对基于纠删码的分布式存储系统中更新的问题和数据安全问题,本文做出了以下主要贡献:(1)针对在存储系统中面临更新频繁和更新范围多变的现状,通过对重构写更新策略和读改写更新策略在分布式系统中建模分析,提出了更新范围感知的混合更新策略,减少更新过程中网络的传输量,提高更新效率。通过在广域网和局域网两种不同的网络环境下进行测试,实验结果表明混合更新策略有效地减少了更新延迟,特别是在广域网中,分别比重构写更新策略和读改写更新策略最多提高了28.1%和24.2%;(2)针对基于纠删码的分布式存储系统中的安全问题,通过对加解密对象为文件和加解密对象为数据块这两种不同情况下两阶段安全策略的读、写和更新操作进行分析,说明了加解密对象为数据块的两阶段安全策略在支持更新操作的存储系统中的可行性;同时对两阶段安全策略下混合更新策略进行建模分析,得出应该尽量提高加密算法加解密速率以适应混合更新策略的结论;(3)对目前主流的开源加密库的加解密性能进行了系统地实验对比分析,填补了开源加密库性能分析的空白,同时为实现安全高效的分布式存储系统做支撑。通过对Java加密库Flexiprovider、Cryptix、Bouncy Castle、SunJCE和C++加密库Crypto++、OpenSSL的实验分析,结果表明OpenSSL和Bouncy Castle支持的分组加密算法最多,其中OpenSSL的加密性能更好;(4)设计并实现一个基于纠删码混合更新策略和两阶段安全加密策略的分布式存储系统EcDFS,并通过两阶段提交协议,保证写入和更新时的数据一致性。通过对原型系统的性能进行测试,实验结果表明EcDSF的顺序写吞吐率比HDFS-RAID提高了两倍多,比HDFS提高了近1.5倍,在两个结点失效情况下的顺序读吞吐率比HDFS-RAID提高了两倍多,和HDFS性能相近。使用了两阶段安全策略后的EcDSF顺序写吞吐率没有下降太多,而顺序读吞吐率要略低于HDFS,但比HDFS-RAID提高了1.6倍。
其他文献
消毒副产物控制是当前饮用水安全的热点问题,分布广泛、毒害性较大的三氯甲烷的控制尤为重要。目前对于已生成三氯甲烷的去除方法主要吸附法和电催化降解法,而单独采用一种方
地下供水管网是生命线工程的重要组成部分,地下供水管道的正常运转对加快我国现代化建设、保障国民日常生活秩序及城市安全极为重要。历年的震害资料显示,供水管网失效最主要
随着云服务的兴起以及数据中心的持续虚拟化,数据中心网络迅速发展起来,传统的数据中心网络技术已经无法满足日益增加的工作负载以及规模需求,基于软件定义网络实现的自动化、可动态编程的数据中心网络逐渐成为发展趋势和行业主流。在新兴的数据中心在线业务中,分布式技术的广泛使用使得东西向流量的比重不断增大,如何有效的管理数据中心内服务器之间的流量传输,如何对数据中心内网络流量进行有效的控制,最终降低传输时延、提
自转基因作物商业化开始,转基因作物的种植面积急剧增加。尽管转基因作物商业化种植给全球的环境与经济带来了巨大的效益,转基因作物对环境安全的影响同样引起了广泛的关注,
当前机械类产品设计采用三维CAD模型进行描述,多数新产品设计是基于现有实例进行,某些现有实例为二维工程图或产品实物,产品实物通过三维扫描的方法可以获取其点云数据。若能基于产品实物或二维工程图实现产品三维CAD模型的快速建立,将大幅的提高产品的设计效率。本文拟针对三维点云数据或二维工程图研究一种工程曲面快速重建技术,主要研究内容如下:根据B样条曲线和B样条曲面的理论知识,基于样条能量理论,改进了 B
六价铬是一种毒性很大的重金属,Cr(Ⅵ)的毒性远远高于Cr(Ⅲ),广泛存在于电镀、油漆、金属加工等行业。Cr(Ⅵ)的化合物在自然界中难于降解,容易被人体吸收,引起腹泻、呕吐等消化道问
在航空发动机典型环腔件如风扇舱内布置有输送燃油的管路、齿轮箱和电子控制器等组件。因管路振动和磨损可能导致管接头松动或者破裂,引起燃油泄漏,在遇高温或明火时存在火灾
随着国家经济高速发展、人民生活水平日益提高,乘用车和商用车的普及率越来越高。汽车公路运输的人次及货物总量急剧增加,这在方便人民的生活和提高国民经济的同时,也造成了
目的:本试验探究电项针疏密波治疗是否比单纯疏波治疗更有效地改善中风后假性延髓麻痹的临床症状方法:选取符合纳入标准的60例来自2018年3月~2018年12月黑龙江中医药大学附属
湖南报春苣苔是具有较高观赏价值的岩溶洞穴穴居植物。为揭示花部特征、繁育系统以及伴生植物对湖南报春苣苔生长繁殖过程的影响,合理开发利用其野生种质资源,本文对其开花物