分布式存储系统中失效节点修复机制研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:gmailzyn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当今时代,网络环境下产生的数据量不断飞速增长,分布式存储作为一种新兴的网络在线存储技术得到了越来越广泛的应用。由于设备软硬件故障,人为失误等因素而引起的节点失效问题已经成为一种普遍情况,为了保持系统的高可靠性,需要对失效节点进行及时修复,因此设计一个良好的失效节点修复机制是分布式存储系统需要面对的关键问题。分布式存储系统多通过冗余策略来保证数据的可靠性。传统的数据冗余策略主要有两种:复制策略和纠删码策略。复制策略易于实现和部署,但是节点存储开销很大,与复制策略相比,纠删码策略在确保系统可靠性的同时能有效降低节点的存储开销,提高存储效率。然而,纠删码策略在修复失效节点时需要传输整个原始文件大小的数据量,修复带宽开销过大。针对这两种冗余策略的不足,再生码策略引入网络编码的思想,在保证系统具有较低存储开销的同时,可以有效地降低节点的修复带宽开销,具有广阔的应用前景。本文主要研究了基于再生码的节点修复机制,主要工作如下:(1)由于分布式存储系统发生的节点失效多为单节点失效,因此设计一个良好的单节点修复机制对于分布式存储系统非常重要。针对传统的完全图MBR码在节点修复过程中磁盘读取开销过大,且需要在有限域上进行MDS编解码,计算复杂度较高的问题,本文提出了一种基于完全图MBR码的局部性修复编码方案,该方案将分布式存储系统中的节点划分为多个修复组,对原始文件进行分组存储,可以对系统中的单个失效节点完成精确修复。理论分析与仿真实验表明,与传统的完全图MBR码相比,本文方案大幅降低了节点修复过程中的磁盘读取开销,同时在具有相同节点数n和k值的情况下,进一步降低了节点存储开销和修复带宽开销。此外,本文方案在编解码时仅需要简单的异或运算,降低了编解码的计算复杂度。(2)在实际的分布式存储系统中,在设备稳定性差,环境复杂等情况下,失效节点常常不止一个。此外,很多分布式存储系统采取“延迟修复”的策略。本文进一步研究了针对多节点失效的修复机制。针对传统的MSCR编码方案在节点修复过程需要的传输信道数多,导致修复过程复杂,修复稳定性差的问题,本文提出了一种基于MSCR码的存活节点协作修复编码方案。理论分析表明,本文方案解决了MSCR编码方案修复过程中所需传输信道数高的问题,在保证与MSCR编码方案具有同样低的存储开销和修复带宽开销的同时,简化了修复过程,减少了节点修复的传输信道开销,降低了修复失败的几率,提高了修复的可靠性。
其他文献
有机-无机杂化聚合物高分子材料同时拥有有机高分子与无机材料的优点,有广泛的应用前景。但由于杂化材料中有机组分与无机组分具有不同的溶解度,通过共混的方法得到的材料中无机组分的分散性较差,从而影响材料的性能。因此如何使得无机组分在纳米尺度上分散在有机材料中,成为了制备杂化材料的关键。本文通过RAFT活性聚合、Click点击化学、开环聚合反应(ROP)等化学合成方法,将其引入到聚合物中,制备了一系列PO
自工业革命以来,世界范围内的能源结构越来越偏重于化石燃料的使用,由此导致大气中CO_2浓度逐年升高,引发一系列诸如全球变暖、海平面上升等环境问题。使用低碳能源和可再生能源是未来世界能源低碳转型的关键,但对化石燃料的依赖并非一朝一夕可以解决,放眼当下,利用CO_2捕集、利用与封存技术(CCUS)大规模降低大气中CO_2浓度是最高效、可行的方法之一。利用合适的CO_2捕集技术与方法是减少CO_2排放到
新手教师正处于理论知识与教学实践的“磨合期”与专业发展的“关键期”,如何找到其发展的着力点,帮助他们快速适应教学,成长为一名合格的教师是一个值得思考的问题.实践知能
本文以云南省马关县都龙镇茅坪村为田野点,以中越边境线上的“国门街”为研究对象,探讨了“国门街”这个由当地村民自发赶起来并且所赖以生存的集市,在此处建设口岸、以及后
无人机在给人们带来方便的同时也带来了威胁,根据无人机的特点,研发相应的防御系统实现对入侵无人机的探测、跟踪和打击势在必行。本文就设计相应的系统中目标检测与跟踪算法部分展开了深入研究,主要工作如下:考虑到目标检测与目标跟踪都使用卷积神经网络做特征抽取,孪生网络在目标跟踪领域的一些进展。针对超低空目标防御系统难以长时间对目标精确感知难题,本文提出了检测与跟踪融合算法。该算法采用统计的方法产生候选区域的
宋濂,初名寿,字景濂,号潜溪,浙江金华人士,元末明初文学家、史学家,其与刘基、高启有“明初诗文三大家”之称;又与章溢、刘基、叶琛有“浙东四先生”之谓。宋濂博文广记,学识
该研究旨在了解各种影响因素对马拉维地产代理行业消费者购买决策的影响。本研究的关键问题是检查这些是否影响消费者决定是否购买或租赁房产。具体而言,该研究的重点是确定数字营销,消费者搜索行为,信息访问是否对消费者的购买决策产生积极影响。社会科学家的科学包(SPSS)回归分析使用研究中的结构测试了假设。结果表明,信息访问(IA)和消费者搜索行为(CSB)量表对消费者购买决策产生了显着的积极影响,而不是数字
低密度奇偶校验(Low-Density Parity-Check,LDPC)码具有构造灵活、纠错性能优秀及编译码复杂度较低等优点,成为了信道编码领域的研究热点。但LDPC码的错误平层问题制约了其进
论文主要研究的是在Concave Folded惩罚下的稀疏线性回归(FCPSLR),在Concave Folded惩罚下的稀疏线性回归已经有了具体的算法,但是满足条件的近似解是否足够接近真实解,并且整个过程与算法无关。为了解决这一问题论文主要从以下几方面进行研究和论述:(1)回归模型的解在哪些条件下对Concave Folded惩罚参数是一个稀疏估计量;(2)在一个空间中稀疏近似解满足二阶必要性条
随着罗马帝国的扩张,在公元前30年,位于地中海东岸的埃及并入了罗马帝国的版图,宣告了托勒密王朝在埃及统治的结束,从此以后,埃及无论在政治、经济、文化还是军事方面,都开始