应用再生码的分布式文件系统研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:jiejie2717
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网时代的到来,数据量呈现出快速爆炸式增长的趋势,海量的数据作为一种重要资产需要被安全可靠地存储。因此,如何保证大规模数据安全可靠存储成为了学术界和工业界的研究热点。分布式存储系统因其具有硬件廉价、高可用、易扩展等优势已经被工业界广泛应用。目前,大多数分布式存储系统主要采用多副本备份和纠删码两种可靠性策略。多副本备份机制虽然实现简单,但存储开销较大,容错能力较差。纠删码方法存储开销较低,可靠性高,但使用时会存在一定量的计算开销,并且会带来节点失效时修复带宽过大的问题。基于网络编码理论设计的再生码能显著地降低节点修复带宽,但现有的大多数再生码的运算过程往往需要较大规模的有限域GF(q),导致实际使用时计算开销大,从而难以适用于实际使用的存储系统的性能需求。  针对上述再生码的问题,本文将Rashmi等提出的通用的乘积矩阵(ProductMatrix,PM)框架和陈等提出的稀疏随机矩阵编码方法相结合提出了一种新的再生码中最小带宽再生码(Minimum Bandwidth Regenerating,MBR)码和最小存储再生码(Minimum Storage Regenerating,MSR)码的构造方案:SR-MBR和SR-MSR,其整个编码和译码过程完全基于GF(2)上的异或运算,与GF(q)上的运算相比效率更高。此外,本文在开源分布式文件系统MooseFS的基础上,设计与实现了基于再生码可靠性方案的RMooseFS文件系统,详细描述了其组成架构和读写过程,并将其部署在局域网集群中进行不同编码的性能对比实验。实验结果表明,基于稀疏随机矩阵的再生码相比基于范德蒙矩阵的再生码编码速率提升了50%,单节点失效恢复速率提升了1倍。针对RMooseFS文件系统的退化读时间指标,基于稀疏随机矩阵的再生码相比RS码至少降低了30%,相比范德蒙矩阵再生码至少降低了45%。
其他文献
该文主要研究如何将质量管理理论应用到实施网管接口一致性测试的测试组织中,通过引入质量管理实现满足特定质量要求的网管接口一致性测试.文章首先介绍了网管接口一致性测试
建模技术在电信管理网技术应用于网管软件的开发过程中具有举足轻重的地位,通过对被管理网络逻辑实体、物理实体以及功能实体良好地加以抽象,才能够确保网管系统高效、准确地
语音模块和表决模块是会议系统非常重要的组成部分,目前大多数会议系统中语音模块使用模拟信号而表决数据使用数字信号,对这两种数据的传输现有系统的解决方案有两种:一种是分
嵌入式操作系统在嵌入式系统设计中处于核心地位,而微处理器是嵌入式系统硬件平台的核心.该课题以MCF5272为嵌入式实时系统硬件平台,以嵌入式实时操作系统RTLinux为内核,进行
表格文档作为信息的载体,在人们的日常工作和生活中扮演着非常重要的角色。随着办公越来越自动化和信息处理越来越智能化,表格文档处理的方式由以前人工统计和搜集纸质表格文档
在该文中,首先对中国水墨画这一复杂而丰富的系统作出了科学的分析,客观详细地描述了水墨画的典型特性及相互间的作用关系,提出了模拟水墨画效果的不同研究方法.给出了一个针
P2P网络,又称对等网络,是目前互联网发展的新阶段,它让一个用户与另一个用户的计算机可以不需要通过任何中介而直接联系.P2P网络的意义要远远超过诸如搜索引擎、B2C、B2B等应
中国物流业的发展目前尚处于初级阶段,对物流信息系统(Logistics Information System,LIS)的研究也刚刚起步,该文根据国内外物流信息系统的发展现状和仓储业的管理现状,提出
在网络和多媒体技术的支撑下,远程教学系统得到了蓬勃发展,且作为一种全新的知识传播方式日益受到重视。在线口语训练系统是远程教学系统的一个重要组成部分,同时也是其中较难实
当前信息社会已迈入大数据时代,数据呈现出海量数据规模、数据源头众多且增速快、数据重要性日益显著等特点。如何保证存储系统中数据高可靠性问题已成为存储领域的一大研究热