分布式存储系统中数据快速修复的纠删码

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:zhongming328
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为防止因设备故障和网络中断而导致的数据不可用,纠删码广泛地用于分布式存储系统中保证数据可靠性。传统的纠删码会遇到修复开销大的问题:修复过程所需要的数据量远大于失效数据量。大量的修复数据会消耗宝贵的磁盘I/O和网络带宽,并将系统长期暴露在一种不稳定的窗口期,使得任何额外故障将可能导致不可恢复的数据丢失,间接地降级了系统的可靠性。近期研究人员也提出了一些减少数据修复开销的纠删码,但它们或牺牲了最小存储开销等有益性质,或只能应用于某些特定的编码系数上。另外,纠删码在数据编码和数据修复时需要消耗大量的计算资源,如何减少计算开销也是纠删码领域的研究重点。本文对分布式存储系统上数据快速修复的纠删码从两个方面展开研究:构建具有灵活参数、减少修复开销的纠删码和减少数据编码和数据修复时的计算开销。本文主要贡献包括以下三点:提出一类新的再生码—GFR码。GFR码通过一个权衡参数实现分布式存储系统中存储开销和修复开销的权衡,使得其既可以达到理论最小存储开销、最小修复开销,也可以达到他们之间的平衡。GFR码还使用一种启发式算法寻找到修复单点失效数据的最小修复开销,并利用一个阈值控制了启发式算法中搜索空间和搜索时间的权衡。经实验分析,基于GFR码的分布式存储系统比基于RAID码的系统具有更高的可靠性。GFR码在实际系统中可以达到理论上最优或近似最优的修复开销,其数据编码性能和FMSR码相近。提出一种矩阵和数据块在有限域上的快速乘法算法-预排移位乘法(SSM)。预排移位乘法通过合理调度运算顺序,合并了在计算矩阵和数据块乘法时的相同计算,减少了纠删码在有限域上数据编码和数据修复时的计算开销。实验证明,预排移位乘法比传统算法具有更小的预测分支,预排移位乘法能提高RS编码速度和提.高GFR码的数据编码速度和数据修复速度。通过对GFR码修复性能分析,预排移位乘法对GFR码修复开销影响很小。提出了一类最小存储开销下最优修复开销的纠删码-Z码。Z码以置换矩阵为元矩阵,可以组合构造出具有最优修复开销的生成矩阵。Z码还利用矩阵的张量乘积,可迭代地构造出任意参数下的生成矩阵,并保持了其最优修复开销。另外,Z码是系统码,因此数据编码后原始数被保留。它们还具有更新开销低和计算开销小等优点。Z码的参数选择灵活,理论上可以实现任意高的存储效率和容错能力。GZ码以是Z码在有限域上的扩展,它具有MDS(Maximum Distance Separable)性质,且保持了和Z码相同的修复开销和系统性等性质。经实验分析,Z/GZ码和RS码有相近的编码速度和修复速度,Z/GZ码还具有最小的更新开销,Z/GZ码在数据修复时减少了 37.5%以上的响应时间。GFR码和Z码都是减少修复开销的纠删码。前者是非系统码,编码后只有校验数据,能够减少存储系统中每个节点的修复开销;后者是系统码,编码后保留了原始数据,能够减少原始数据部分的修复开销。GFR还可以通过增加存储开销进一步减少修复开销,因此它更适合用于需要频繁的数据修复和修复开销大的分布式存储系统,而Z码的系统性、高编码性能和低更新开销使得其适合于高性能存储系统。预排移位乘法为基于有限域上纠删码的数据编码和数据修复提供了一种快速运算方法。这三个创新点都能够提高基于纠删码的分布式存储系统中数据修复性能,减少修复响应时间,并提高数据可靠性。
其他文献
当前,在经济下行压力加大、外部环境多变的复杂形势下,做好“三农”工作既意义重大,又任务艰巨。坚持农业农村优先发展,需要在资源配置、产业布局、基础设施建设、创新创业、公共
报纸
目的:通过电项针干预睡眠剥夺大鼠脑干GABA、CCK8含量的实验研究探讨电项针对失眠的影响机制。方法:将40只大鼠随机分为空白组、模型组、电项针组、甜梦胶囊组,每组10只。除
本文旨在验证公共服务资本化的时序特征。这一时序特征与地方收入制度相结合,对地方公共服务提供激励产生了重要影响。35个大中城市的实证分析表明:交通基础设施能够在土地出
本文对原发性大肠癌病例86例和与病例同性别、同年龄、同居地健康者86名,采用2,3-二氨基萘荧光比色微量法进行了全血血硒水平的测定。结果病例组血硒含量低于对照组,差异有显
“朋友圈”里的热聊话题 $$ 三年前,毕加索展来沪展览时还没有微信,我们在传统媒体上做了很多广告宣传,投入了几百万元。此次莫奈展来沪的宣传费用不多,主要宣传力量集中在
报纸
论文详细介绍了上海电力的发展现状以及上海地区的电力消费变化规律;从分析冰蓄冷空调技术的特点出发,随着空调负荷比重的增加,强调了冰蓄冷空调技术良好的削峰作用。推广冰
目的:观察丹红注射液联合辛伐他汀对冠心病不稳定型心绞痛(UA)患者客观指标及中医证候影响。方法:将符合纳入标准的70例心绞痛患者随机分为治疗组和对照组,对照组给予常规药
本文利用2005—2011年中国55个大中城市的面板数据实证分析了住房公积金制度对房价的影响,进而系统地分析了公积金制度的住房福利效应。实证结果表明住房公积金制度会显著促
目的:目前分离和鉴定鼻咽癌干细胞的方法仍不成熟。探索鼻咽癌细胞系干细胞微球体培养方法,并对CNE-2细胞微球体是否具有肿瘤干细胞生物特性(干性)进行鉴定。方法人鼻咽癌细胞CNE
教育能够促进知识的传递,并且随着时代的发展知识内容不断进步。化学是高中教学中的重要学科,对学生的成绩和日后发展有着重要的作用。随着新课程改革的不断深入,对各个学科