分布式存储系统中具有局部修复特性阵列码研究

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:lushengli2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着当今社会数据总量的指数式增长,海量数据需要被可靠存储,传统的数据存储方式面对庞大数据已经显得无能为力,分布式存储系统在此种情况下应运而生,其易扩展和低成本的优势使其逐渐成为海量数据存储的绝佳选择。分布式存储系统由众多的节点组成,随着系统规模的扩展,节点数量的不断增加,失效的情况愈加频发,因此需要采用容错技术来提升数据存储的可靠性。容错技术可分为副本技术和纠删码技术。副本技术是将原始数据存储一定数量的副本,因此需要大量的存储空间,而纠删码技术能在保障数据可靠性的前提下极大降低所需的存储空间。阵列码是一类编解码操作简单、易于实现的纠删码,目前设计的阵列码大多数能容忍两个或三个节点失效,这在数据的可靠性角度显然是不够的。本文首先提出了一种容忍多列失效的阵列码的编码方法,并对其在一列或多列失效的情况下基于LU分解算法设计了一种有效的解码算法,最后在分布式集群环境中进行测试,本文主要贡献如下:(1)提出一种构造在特定商环上,具有多个校验列的MDS阵列码称为GEBR(Generalized Expanded-Blaum-Roth)码,该码具有灵活的编码参数,GEBR码不仅能够解决多列失效的情况,而且能解决列的某一位丢失的问题。针对GEBR码列的失效问题,提出了一种基于LU分解算法的解码方案,并且将现有的EBR(ExpandedBlaum-Roth)码和GEBR码从编解码方法、编码特性和计算复杂度等方面进行对比分析。(2)基于中继模型结合纠删码的理论研究,设计了一个扩展的HDFS分布式存储系统。将GEBR码和EBR码应用到该分布式存储系统中,在不同编码参数的构造下,从编、解码速率和失效节点个数及失效节点位置等方面进行性能对比测试。实验结果表明,新提出的GEBR码在多个节点失效时,其编解码速率明显的高于EBR码,并且随着节点总数的增大,GEBR码的编解码效率比EBR码大约高77%。
其他文献
随着锂离子电池行业的快速发展,社会对锂资源的需求不断增加。但是地壳中锂资源的储量并不丰富。这种供需不平衡推动了锂离子电池成本的不断上涨,限制了锂离子电池的进一步发展。钠离子电池因为钠资源储量丰富,成本低等特点而受到了广泛关注。但是,Na+的半径比Li+大,在电极材料中的反应更困难。这就对储钠电极材料提出了更高的要求。VS4具有一维链状结构,链间距达5.83(?),且链间只有弱的范德华力相互作用。这
微动磨损是工程应用中一种常见的损伤形式。许多服役于特殊或极端工况的关键内孔类铝合金零部件,在实际的应用中,零件内部接触面会在外界载荷或循环应力的作用下,受到一定程度的微动损伤,影响零部件的安全可靠性和使用寿命。因此,提高这类部件表面的抗微动磨损性能越来越重要。本文采用超音速火焰喷涂的方法在铝合金基体表面制备铝青铜、Cu Ni In和Ni Co Cr Al YTa三种耐磨防护涂层,对比分析涂层的截面
在汽车钣金车间中,大多数的汽车钣金件需要经过剪切、焊接、铆接、折弯扣边、弯曲成型等复杂的工艺加工成型,在此期间,工件需要在不同的加工工位之间转移,从而导致花费大量时间和人力来重复工件上下料过程,造成车间的生产效率不高且成本不断攀升。目前,虽然已逐步利用工业机器人代替人工完成上下料任务,但大部分依旧通过机器人“示教”的方法来引导机器人抓取工件,该方法只能按照规定路径发生动作,没有自主识别和定位的能力
聚酰亚胺是一种在各方各面的应用性能都极为优秀,极具特点性的高分子材料,特别是聚酰亚胺的薄膜系列,能在宽广的温度范围内(-269℃~400℃)保持出色的物理、机械力学性能和优秀的绝缘性能等,而被广泛应用于电器、电子、光学材料和其他工程材料领域。并由此开辟出了新的设计和应用领域,特别是在今天柔性电子生态即将爆发的前期,无色透明聚酰亚胺薄膜更是作为热门材料,被业内研究人员认为具有十分广阔的应用市场空间和
全钒氧化还原液流电池因其存储容量大、效率高、寿命长等优点,在储能领域展现出巨大的应用前景。钒电解液中活性物质硫酸氧钒是影响全钒液流电池综合电性能的关键材料,提高电解液中的钒离子浓度与纯度可有效提高钒电池的综合电性能。我国有丰富的钒钛磁铁矿资源,它是制备钒产品的主要矿产来源。硫酸浸出是钒钛磁铁矿炼钢钒渣经钙化焙烧,富集净化制备高纯钒产品最重要的工序,工业生产中常采用两段浸出的方式提高钒的直收率。二段
镁基复合材料具有许多优异的力学性能,因而应用前景广阔,在医疗、交通工具以及航空航天等方面得到了广泛的应用。镁基复合材料的耐腐蚀性能是限制其快速发展的一个重要因素,且目前基于镁基复合材料的耐腐蚀性能研究不够系统,因此,研究镁基复合材料的腐蚀性能和腐蚀机理极为关键。本文采用粉末冶金工艺制备了Mg/SiO2和Mg/HAP镁基纳米复合材料。采用光学显微镜、扫描电镜和激光共聚焦显微镜等测试仪器对镁基复合材料
废胶粉作为废橡胶的一种二次资源,其用途非常广泛,可用于橡胶沥青、翻新轮胎、水泥混凝土等,但目前对于废胶粉的成分及其再生利用的研究仍非常浅显,如何实现废胶粉的高效利用对于橡胶工业的可持续发展具有重大意义。因此,本论文首先利用热重分析法、红外光谱等手段对废胶粉的结构及成分进行详细研究,然后在探索废胶粉再生利用的新方法。具体所得结果如下:(1)利用全反射红外光谱以及热重-红外联用仪对废胶粉进行成分与相对
金属有机框架(Metal-Organic Frameworks,MOFs)材料是一类新型多孔材料,该类材料具有孔径均匀、比表面积大和结构与功能多样化的特点,目前已在储能、催化、吸附分离、荧光标记、分子识别等领域得到了广泛的应用。但是目前制备MOFs的常规方法依然是水热法或溶剂热法,这种方法的局限在于:单次反应过程中往往只能得到一种金属有机框架材料,且大多数反应都需要在高温、高压、长时的条件下进行,
钙钛矿太阳能电池(PSCs)是一种具有优异光吸收能力、较宽的吸收波长、和较高载流子迁移率等特点的新型光伏器件,其光电转换效率已经突破了25%,正在逐步逼近传统的单晶硅太阳能电池,由其于制造成本低廉、能够被大面积生产、还能被制备在柔性基底,所以钙钛矿太阳能电池被业界普遍认为是非常具有应用前景的新型光电池。钙钛矿发光二极管(PeLED)是一种具有高光致发光量子效率、较窄的发射线宽等优异光电特性的发光器
质子导体固体氧化物燃料电池(H-SOFCs)是用于发电的全固态电化学能转换装置,具有发电效率高、全固态结构、低污染以及燃料灵活等优点,正吸引越来越多研究者的关注。电化学模型模拟技术有利于理解电池内部的电化学反应过程和物质迁移过程,对实验研究和提升电池性能有重要的指导作用。在质子导体固体氧化物燃料电池中,由于质子导体电解质材料存在不可忽略的电子空穴电导率,而引起的电解质内部短路(泄漏电流)是影响电池