存储系统中纠删码的关键技术研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:fogflower
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前信息社会已迈入大数据时代,数据呈现出海量数据规模、数据源头众多且增速快、数据重要性日益显著等特点。如何保证存储系统中数据高可靠性问题已成为存储领域的一大研究热点。当前存储系统主要采用复制备份或纠删码方式进行数据冗余,再利用冗余数据进行数据恢复,以此保障数据长期可读或丢失可恢复。随着存储系统容量不断扩大,系统整体上发生数据丢失或损毁的次数也在增加,存储系统需进一步提高自身的容错或容灾能力。然而复制备份方式是通过增加更多副本提高数据可靠性,其存储利用率低的缺陷日益明显,已不能满足当代存储系统的需求。另一方面,纠删码方法只需生成少量冗余数据,牺牲系统的部分运算效率,便可实现数据高可靠存储,受到当代研究人员和企业越来越多关注和深入研究。  本文针对存储系统中的纠删码技术开展了如下3方面的研究:  1)传统阵列码研究过程均是从二维阵列考虑,利用不同几何方法,探索可行的编码过程,并期望取得良好的存储性能。但是阵列码已发展了近30年,熟知的几何手段已被尝试并提出了相应编码方法,继续延着几何道路研究具有一定局限性和门槛,研究过程对相关几何知识要求很高。从另一方面,阵列码属于一类线性纠删码,可利用生成矩阵或校验矩阵方式表示其编译码过程,本文将从生成矩阵角度对各类型阵列码进行详细分析,总结了各类型阵列码在矩阵形式下的特有性质,提供一种从构造生成矩阵确定阵列码的编码方法研究思路。  2)针对磁盘阵列存储,提出一种可容3错、具有低密度特性且可取得最优存储效率的水平阵列码,称为逆码(Inverse Code)。磁盘阵列存储在应用过程中更常见的是读写操作,数据更新频繁,相应阵列码的更新效率逐步成为一项重量评价指标。在容2错的RAID6水平阵列码中,已有Blaum-Roth码、Liberation码等水平阵列码可取得最优更新效率。但是针对容3错的低密度水平阵列码,目前尚无相关研究成果,而逆码正好可以填充此研究领域的空白。逆码是从构造生成矩阵来确定编码过程,构造过程中利用了‘一种超正规性质的矩阵结构’和‘有限域元素的比特方阵表示形式’两种工具。相比已有的容3错水平阵列码,逆码具有低密度特性,其更新效率优势明显。  3)针对当前应用于分布式存储系统的纠删码方法大都继承于通信领域,不能很好满足存储系统的问题,本文针对分布式存储提出一种用于数据冗余容灾的纠删编码方法,称为随机二元扩展码(RBEC),为分布式存储系统提供一种新的选择。与RS码类相比,RBEC编译码过程完全基于异或运算,摆脱了高阶有限域运算复杂度高的问题。与低密度奇偶校验码类相比,RBEC同时具有LDPC的稀疏性、Tornado码的系统码结构以及优于LT码的扩展能力;并且随着码长不断增加,RBEC将具有近似MDS性质。此外相比已有纠删码方法,RBEC参数具有动态调整能力,即可直接在生成矩阵上动态添加或删减行或列,达到调整RBEC的码率和纠错率目的;应用在分布式存储时,可实时通过添加或删除存储节点,调整系统的存储利用率和容错能力,操作十分方便。
其他文献
随着物联网技术的不断发展,嵌入式实时系统被广泛应用于各个领域。嵌入式实时系统需要提高实时性、内存碎片率等方面的性能,从而满足越来越多样化的应用领域的需求。嵌入式实时
该文主要研究如何将质量管理理论应用到实施网管接口一致性测试的测试组织中,通过引入质量管理实现满足特定质量要求的网管接口一致性测试.文章首先介绍了网管接口一致性测试
建模技术在电信管理网技术应用于网管软件的开发过程中具有举足轻重的地位,通过对被管理网络逻辑实体、物理实体以及功能实体良好地加以抽象,才能够确保网管系统高效、准确地
语音模块和表决模块是会议系统非常重要的组成部分,目前大多数会议系统中语音模块使用模拟信号而表决数据使用数字信号,对这两种数据的传输现有系统的解决方案有两种:一种是分
嵌入式操作系统在嵌入式系统设计中处于核心地位,而微处理器是嵌入式系统硬件平台的核心.该课题以MCF5272为嵌入式实时系统硬件平台,以嵌入式实时操作系统RTLinux为内核,进行
表格文档作为信息的载体,在人们的日常工作和生活中扮演着非常重要的角色。随着办公越来越自动化和信息处理越来越智能化,表格文档处理的方式由以前人工统计和搜集纸质表格文档
在该文中,首先对中国水墨画这一复杂而丰富的系统作出了科学的分析,客观详细地描述了水墨画的典型特性及相互间的作用关系,提出了模拟水墨画效果的不同研究方法.给出了一个针
P2P网络,又称对等网络,是目前互联网发展的新阶段,它让一个用户与另一个用户的计算机可以不需要通过任何中介而直接联系.P2P网络的意义要远远超过诸如搜索引擎、B2C、B2B等应
中国物流业的发展目前尚处于初级阶段,对物流信息系统(Logistics Information System,LIS)的研究也刚刚起步,该文根据国内外物流信息系统的发展现状和仓储业的管理现状,提出
在网络和多媒体技术的支撑下,远程教学系统得到了蓬勃发展,且作为一种全新的知识传播方式日益受到重视。在线口语训练系统是远程教学系统的一个重要组成部分,同时也是其中较难实