面向快速恢复的RAID-6编码扩展技术研究

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:bigxiong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代背景下,数据量的爆炸式增长,给数据存储带来巨大挑战。一方面,传统磁盘以及新型存储介质失效出错的概率随存储规模激增,导致设备级失效趋于常态化,但现有编码无法满足可靠性要求,需要寻求更高可靠性编码;另一方面,存储系统性能提升远远滞后于存储容量的攀升,重构时间过长。在此背景下,本文针对现有容三错编码中恢复性能差、等待时间长,冗余利用低等问题,从编码入手,对存储可靠性的问题进行研究,从实际需求出发,将阵列码与局部编码相结合,提出了一种新的编码扩展思想并基于两种常用编码进行了扩展,主要工作和创新如下:首先,研究表明现有纠删码扩展编码仅提供可靠性,并不提升性能,同时也没有关注失效概率问题,如RTP编码中第三个冗余校验冗余盘仅在三个盘同时失效时才会发挥作用,而这种情况发生的概率不足1%;不仅如此,现有纠删码并没有考虑到系统所处降级状态时的可靠性问题。针对以上问题,本文提出面向快速恢复的RAID-6编码扩展思想。该思想关注大概率的单盘失效情况并加快其恢复速率。该冗余添加方法以二元组为基本冗余添加单元,在减少单个设备失效时恢复所需读取数据块的同时,满足最大数据块重用数量,减少数据块传输开销,从而提高恢复效率、减少系统处于降级时的时间的目的。不仅大幅提高恢复速度,还在一定程度上增加原有RAID-6系统的可靠性。其次,本文将上述编码思想进行实践,分别以RDP编码、EVENODD编码为基础进行扩展,得到扩展后的编码:RDP+编码、FR2E编码。通过严密的理论分析论述本文提出的扩展编码相比传统容三错编码的优越性。分析得到RDP+扩展编码在快速恢复性能方面的提升可达到18.5%;而FR2E编码由将EVENODD编码中特有调节因子整合到扩展的冗余中去,使得恢复性能进一步提高达到21.6%。另外,本文还提出了一个新的度量指标:单位冗余提升性能系数Q,即:纠删码性能提升与存储开销比率,用来衡量冗余添加方法的性价比。最后,对本文对所提出的两种扩展编码的编解码过程进行模拟实现,实验结果表明:本文所提出的扩展方法相比原有三容错编码有效的提升了恢复性能,并且在有效降低了编码开销。实验结果与理论分析基本保持一致,进一步论证本文提出方法的优越性。
其他文献
随着计算机网络与信息技术飞速发展,信息的获取、发布和分享进入了一个新时代。Web服务解决了传统网络应用程序的分布式对象、中间件技术的相互独立性和紧耦合性,其诸多优点
随着P2P技术的发展,其应用越来越广泛,其中基于分布式哈希表(DHT)的P2P资源搜索算法正是近年来P2P技术领域研究的热点。对于基于DHT系统的大量研究主要集中在如何提高查询效率
数据中心是Internet的重要基础设施,它为用户提供数据存储、计算和传输等核心服务支撑。随着网络技术的高速发展,特别是大数据时代的到来,数据中心在Web服务、搜索引擎、电子
随着无线通信技术和移动终端技术的快速发展,以IEEE802.11为基础的无线局域网(WLAN)得到了越来越广泛的应用。与此同时,VoIP以其价格低廉、资源利用率高等优点成为当今发展最快
学位
大数据时代的到来,一方面我们需要安全有效地存储海量数据信息,存储系统的容量亟待增大;另一方面大数据量也对数据处理能力提出了新的要求,存储系统的性能亟需提升。重复数据
本文的主要研究内容是病灶区域定位在医学图像处理中的应用。首先研究了病灶区域分析和搜索,把人的主观感觉和计算机自动处理过程结合起来。其次研究和分析了各种分割算法,重
虚拟人体服装模特是一种面向服装制造工业的3D人体模型,一方面它要满足服装制造过程中量体裁衣的要求,另一方面还要满足用户的需求,构建出符合用户要求的人体模型。本文以这
近年来,P2P技术作为一种全新的网络应用,正主导着互联网的发展方向,与此同时P2P的管理问题也成为当前互联网络中最大的难题。因此,实现对P2P流量的有效识别及控制成为了当前
中文自动分词是实现搜索引擎信息检索的基础,长期以来一直是人们研究的重点,它广泛应用于中文信息处理的各个领域。传统的分词系统大都采用基于词典机制的分词算法,它们必须在分