分布式存储系统中数据重构优化算法

来源 :重庆大学 | 被引量 : 0次 | 上传用户:hema5177
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式存储系统以其设备廉价并易于扩展的优点已经成为大数据存储的一种重要方式。为维持数据可靠性,分布式存储系统通过存储部分冗余数据以保证系统在发生存储节点故障时可以自发地完成数据修复。当节点发生故障导致其存储的数据失效时,通常在系统中另择一个新节点再生已失效的数据来维持系统中数据文件随时可用。与保存文件的多个副本或使用纠删码进行冗余存储相比,由再生码生成冗余数据的容错方案不但对存储节点故障拥有更强的抵抗能力,还可以为系统提供更低的存储开销和带宽开销。目前对再生码的研究多集中于编码参数设定以及编码实现方式,很少考虑实际系统中存储节点异质性和带宽异质性对再生过程的时间开销以及成功率的影响。本文在满足再生码修复性质的前提下,通过理论分析和实验仿真研究了高性能再生过程的再生码策略,具体工作如下:(1)回顾了两种传统分布式存储容错方案,针对网络编码策略和再生码策略的编码理论和研究现状进行了详细说明。(2)为明确再生码实现过程中各项工作对再生性能的影响,提出一种划分方式,将再生过程按照时间逻辑分为数据分布、数据编解码,数据传输和数据重建四个阶段,并针对数据传输阶段介绍了的一种基于树形拓扑的传输方式。(3)分析了树形拓扑传输方式的局限性,并针对该局限性以及实际分布式存储系统中节点性能的差异,提出了一种基于节点能力感知数据传输路径构建方法,该方法在选择高可靠性供应节点承担数据传输任务的同时还可以避免可用带宽低的传输链路,保证了再生过程数据传输高速完成,减少了无效数据传输,提高了传输数据的利用率。(4)将树形拓扑传输方式与合作再生数据修复策略相结合,提出基于树形拓扑的合作再生策略,使适用于惰性修复场景的再生码的时间开销和文件可用性等性能更优。设计了两种算法——边相交并行再生树构造算法和边不相交并行再生树构造算法,为合作再生过程中的所有新节点构造了可用于两个阶段数据传输的再生树。并通过仿真证明了算法的可用性以及该策略的优越性。
其他文献
随着互联网技术的飞速发展,互联网上的信息数据呈爆炸式增长,舆情信息的监控将起到非常重要的作用,它能从网络信息中找出低俗的、恶意的或带有诱导性的舆情内容,加强对网络内
预测控制已经成为工业界处理约束多变量优化控制问题时广泛采用的算法。由于干扰、模型失配等因素,常导致约束不可行或无法达到严格的设定值控制目标,通常采用软约束和区间控
随着产业的升级换代,各地更加注重第三产业的发展,旅游业是第三产业的重要组成部分。作为新化县旅游业的地标,梅山龙宫以其瑰丽的风景享誉海内,而导游词则是梅山龙宫对外宣传
分布式约束优化问题(DCOP)是一种用于解决多Agent系统协作优化问题的重要建模方式,具有隐私性、信息局部性、控制分散化等特点。目前对该领域的研究主要是算法理论方面的研究
自然场景文本检测(Natural Scene Text Detection)是指预测自然场景中文本的位置,完成文本定位的过程,它是计算机视觉领域中的热门研究方向。受自然场景图像中复杂背景、文本
随着图像处理的快速发展,基于计算视觉技术的工件识别受到工业界的广泛关注。工件识别是工业自动化生产的重要组成部分,其主要通过计算视觉技术和工业机器人的结合,实现工业
目的:通过比较老年冠心病冠脉支架植入术后患者在常规护理模式和“5E”康复模式下患者自我管理效能、术后服药依从性、心理状态等的差异,分析“5E”康复模式应用于老年冠心病冠脉支架植入术后患者健康管理的效果,为“5E”康复模式的实施策略制定提供依据。方法:采取前瞻性资料分析方法,研究对象选取2017年11月-2018年1月期间入住我院心内科接受冠心病冠脉支架植入手术且手术成功,符合纳入、排除标准的老年患
出租人通知义务制度是承租人优先购买权制度之重要组成部分,“同等条件”乃实现承租人优先购买权之实质条件,直接影响着出租人通知义务之合理履行,这也决定了承租人优先购买
认知无线电是一种能够根据所处通信环境自适应调整和重构工作参数的智能频谱共享系统,认知用户以机会方式或通过严格控制发射功率接入分配给主用户的授权频谱,只要对主用户造
随着计算机科学的飞速发展,多媒体信息安全成为当下备受关注的研究热点。作为其重要分支之一,数字图像隐写分析的目的在于检测图像数据中秘密信息的存在性,估计嵌入的信息量