论文部分内容阅读
大数据时代背景下,数据量的爆炸式增长,给数据存储带来巨大挑战。一方面,传统磁盘以及新型存储介质失效出错的概率随存储规模激增,导致设备级失效趋于常态化,但现有编码无法满足可靠性要求,需要寻求更高可靠性编码;另一方面,存储系统性能提升远远滞后于存储容量的攀升,重构时间过长。在此背景下,本文针对现有容三错编码中恢复性能差、等待时间长,冗余利用低等问题,从编码入手,对存储可靠性的问题进行研究,从实际需求出发,将阵列码与局部编码相结合,提出了一种新的编码扩展思想并基于两种常用编码进行了扩展,主要工作和创新如下:首先,研究表明现有纠删码扩展编码仅提供可靠性,并不提升性能,同时也没有关注失效概率问题,如RTP编码中第三个冗余校验冗余盘仅在三个盘同时失效时才会发挥作用,而这种情况发生的概率不足1%;不仅如此,现有纠删码并没有考虑到系统所处降级状态时的可靠性问题。针对以上问题,本文提出面向快速恢复的RAID-6编码扩展思想。该思想关注大概率的单盘失效情况并加快其恢复速率。该冗余添加方法以二元组为基本冗余添加单元,在减少单个设备失效时恢复所需读取数据块的同时,满足最大数据块重用数量,减少数据块传输开销,从而提高恢复效率、减少系统处于降级时的时间的目的。不仅大幅提高恢复速度,还在一定程度上增加原有RAID-6系统的可靠性。其次,本文将上述编码思想进行实践,分别以RDP编码、EVENODD编码为基础进行扩展,得到扩展后的编码:RDP+编码、FR2E编码。通过严密的理论分析论述本文提出的扩展编码相比传统容三错编码的优越性。分析得到RDP+扩展编码在快速恢复性能方面的提升可达到18.5%;而FR2E编码由将EVENODD编码中特有调节因子整合到扩展的冗余中去,使得恢复性能进一步提高达到21.6%。另外,本文还提出了一个新的度量指标:单位冗余提升性能系数Q,即:纠删码性能提升与存储开销比率,用来衡量冗余添加方法的性价比。最后,对本文对所提出的两种扩展编码的编解码过程进行模拟实现,实验结果表明:本文所提出的扩展方法相比原有三容错编码有效的提升了恢复性能,并且在有效降低了编码开销。实验结果与理论分析基本保持一致,进一步论证本文提出方法的优越性。