云存储中基于纠删码的数据容错技术研究

来源 :肖逸飞 | 被引量 : 0次 | 上传用户:qinqincy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于纠删码的数据容错技术因其极低的存储成本被广泛应用于云存储平台。为提供高效、低成本和高可用的云存储服务,本文围绕纠删码的数据修复和数据更新两大核心问题,开展了网络优化问题研究。本文的主要创新和工作如下:(1)提出了基于全节点的循环修复算法——Loop Repair。面向带宽同构(各链路带宽相同)和带宽异构(各链路带宽不同)网络环境,提出了双循环调度框架——Bi-Loop。该框架包含机架内、机架外两层循环,内循环用于解决带宽同构环境的数据修复问题,内、外循环配合用于解决带宽异构环境的数据修复问题。在Bi-Loop框架下,提出了基于全节点的循环修复算法——Loop Repair。该算法以全节点数据修复为核心,利用所有健康节点的上、下行带宽,以循环、负载均衡的方式进行全节点数据修复。理论分析论证了Loop Repair算法在带宽同构环境中属于最优修复算法,并分别给出了Loop Repair算法在同构与异构环境中的时间开销范围。同时,本地集群实验表明,与现有数据更新算法相比,Loop Repair算法不仅能够有效提高数据修复吞吐量30%以上,而且具备通用性,能够适配不同的纠删码与工作流。(2)提出了基于双端裁剪的数据更新算法——CAU-DB(CAU-Delta Batch)。该算法基于CAU算法提出了两点改进:首先,针对CAU的整块传输问题,提出了双端裁剪策略加以改进;其次,将基于RS编码的更新改为基于异或的更新,提高了数据更新的编码效率。本地集群实验表明,与现有数据更新算法相比,CAU-DB算法可以提高数据更新效率19.4%以上,同时节省跨机架流量16.7%以上。(3)提出了基于渐进合并的数据更新算法——T-Update B(T-Update Batch)。该算法将批量更新与异或更新融入T-Update算法,巧妙地结合了四种网络优化关键技术(异或更新、增量更新、数据转发与批量更新)。同时,针对批量更新的过量合并问题,T-Update B提供了基于日志的渐进合并算法加以修正。本地集群实验表明,与现有数据更新算法相比,T-Update B算法可以有效提高吞吐量0.5-6.0倍,并节省跨机架流量29.2%-81.8%。不仅如此,T-Update B还具备通用性,能够适配不同的纠删码与工作流。理论分析和实验结果表明,本文针对云存储系统相关问题所提出的三种数据容错技术,具备高效性、低成本与通用性,可应用于P2P存储系统、分布式存储系统、云存储系统等多个领域。
其他文献
考虑在消费者低碳偏好的影响下,供应链企业实施差异化的碳减排政策,可以更为有效地促进低碳经济的发展,以实行碳交易政策的供应商和实施碳税政策的制造商组成二级供应链,构建Stackelberg博弈模型;运用逆向归纳法求解,得出供应链各成员不同决策模式下的最优决策;探讨消费者低碳偏好对企业决策的影响,以及消费者低碳偏好与减排政策之间的联系。结果表明,消费者低碳偏好增强时,会导致供应链企业的产品价格与单位产
期刊
从汉代开始,“故事”成为治国理政的新依据,它的一个来源是历史人物的事迹。霍光历仕汉武帝、昭帝和宣帝三朝,其生前和身后事迹被后人根据不同情境,有选择性地以“霍光故事”名义作为处理类似事件和达到个人目的的参照,并频繁出现在从《东观汉记》到《资治通鉴》的诸多史籍中,是霍光影响的具象化。“霍光故事”是汉代“故事”形成的一种模式,反映了汉代“故事”的诸多特征:应用领域广泛、地位模糊、形成主体多样和传承中去情
期刊
先秦时期的始祖感生神话起源于远古母系氏族社会末期,成型于父系氏族时期,生成文本以后,在战国时期呈现模式化书写的特征,其主要书写特点为:突出女性为母的身份、感生方式为图腾受孕、只有始祖才拥有感生神话。同时,战国时期开始出现感生梦这一母题,诸侯国君甚至女性人物也开始成为拥有感生神话的主体。两汉时期史家通过沿用、仿造、创新三种方式对先秦流传的感生神话材料进行利用,并将感生梦固化为汉朝帝后感生神话的主要模
期刊
目的 对比分析膀胱镜检查频率对非肌层浸润性膀胱癌(NMIBC)患者经尿道电切术治疗情况及预后的影响。方法 回顾性分析685例高危NMIBC患者的临床与随访资料,根据随访期膀胱镜检查次数分为低频率组(184例)和高频率组(501例),分析膀胱镜检查频率与经尿道手术次数、患者复发、进展及死亡之间的关系。结果 低频率组农村人口多,膀胱灌注化疗比率低,经尿道手术次数少,阴性活检次数也少,与高频率组比较差异
期刊
实验是化学的基础。在高中化学学习过程中,加强实验学习,是提高化学学习效率和质量的关键,并有助于提高学生理解和实践动手能力。本文主要从三方面探讨了运用化学实验发展学生能力的具体途径。以期为广大高中生提供一些参考。
期刊
2023年5月16日,欧盟正式对外公布了《建立碳边境调节机制》法令,明确了碳边境调节机制(CBAM)的征收范围、申报要求、排放量计算等内容,这意味着全球首个具有“碳关税”性质的气候贸易规则正式落地,并将于2023年10月1日正式实施。文章基于GTAP-E模型设定4大类15种情景模拟方案,全面分析了欧盟CBAM实施对中国的影响,并考察了中国主动采取碳税政策的可行性。研究发现:当欧盟仅针对CBAM覆盖
期刊
2023年4月25日,欧盟理事会投票通过碳边境调节机制(CBAM),这标志着CBAM正式完成立法进程。采用多区域投入产出模型研究CBAM对贸易的影响,有益于丰富CBAM理论,并为碳排放领域实践提供借鉴。从国家维度看,CBAM在发达国家和发展中国家之间产生了显著分配效应,绿色技术相对落后且贸易敞口较高的发展中国家受欧盟CBAM影响更大。从部门维度看,碳排放强度高、贸易敞口大的采矿、金属等生产部门将在
期刊
报纸
如果说课程改革中教学和学习方式的改革是有助于学生掌握知识,提高能力,那么改革学生思维方式改变的则是学生行为。"合作互助"教学属于教学方式的改革,初中物理教学中"对话性思维"模式的建立属于思维方式的变化,两者的结合更适合学生的全面发展。
期刊
<正>《义务教育数学课程标准(2022版)》明确指出,数学教学要注重知识点之间的关联,把每堂课的知识置于整体知识的体系中,注重知识的结构和体系.通过对实际课堂教学的调查研究发现,多数教师以课时为单位实施“碎片化”教学.本文中结合理论对单元教学实际情况进行实践探究.1 数学单元教学设计的内涵数学单元教学设计是在整体思维的导向下,根据数学学科特点,以知识内容、学科素养、思想方法等为线索,结合学生已有的
期刊