分布式存储系统中数据再生策略研究

来源 :复旦大学 | 被引量 : 0次 | 上传用户:liongliong428
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式存储系统通过利用大量存储节点提供海量数据存储服务。分布式存储系统需保存冗余数据,从而在有存储节点失效的情况下维持数据的完整性。为补偿存储节点失效造成的数据损失,当有存储节点失效时,应在系统中另一节点中再生其保存的数据。与保存副本数据相比,由MDS编码生成的冗余数据能够提供更高的对节点失效的抵抗能力,但典型的MDS编码在再生过程中的传输开销远高于副本数据。在MDS编码中,再生码能够达到存储开销和再生时网络带宽开销间的最优折衷曲线。目前对于存储编码及相应再生开销的研究集中于最小化再生时的网络带宽开销,但未考虑到实际再生中的时间及参与节点等开销。本文在不牺牲数据完整性的前提下,通过理论分析和基于真实数据的仿真,研究了提高再生过程性能的优化设计方案。我们首先回顾了冗余数据及其维持方面的工作进展。接下来,我们通过利用网络中不同链路上的带宽异质性,提出一种树形拓扑再生过程,显著降低了再生时间。进一步的,在对可用带宽非对称链路进行建模的基础上,本文提出了基于多棵树并行传输的再生过程。另一方面,基于再生过程中参与节点数量对再生效率的影响,我们通过将多个节点的再生过程进行流水线化处理,从而降低每轮再生过程中的参与节点数量。通过分析可知,流水线再生过程能够降低再生过程中所需时间及网络带宽开销,同时不牺牲数据完整性,且其要求的额外存储开销是低且实际的。我们的工作表明,流水线再生过程能够支持随机线性编码以及再生码,并支持立即修复和惰性修复。
其他文献
学位
本文所使用的Where-What Network模型,粗略建模人类视觉系统信息处理的两条通路结构:腹侧通路主要处理物体的外形轮廓等信息,即主要负责物体的类型识别;背侧通路主要处理物体
近年来,随着云计算的蓬勃发展,越来越多的用户和组织将业务托管到云平台上运行,这导致了云计算数据中心的负载日益严峻。云计算数据中心对多种资源进行整合,实现了统一的分配和管
汽车上CAN(Controller Area Network)控制系统变得越来越复杂,然而先硬件后软件的传统开发方法降低了CAN应用的开发效率。如何摆脱由于硬件尚未到位导致CAN应用开发和测试滞后的
在计算机视觉模拟中,动态效果的真实感生成是当前计算机视觉领域的一个研究热点,海浪的计算机模拟尤其具有代表性。自然界中海浪受力情况复杂,物理模型难以确定,这给海浪真实
近些年来,随着我国经济与社会的快速发展,城市交通面临的压力日益增大,路径导航在缓解城市交通拥塞方面发挥着重要作用,对此国内外已有许多研究。其中,包含有交叉口延时等各种交通
互联网络的迅速发展,不仅给人们带了丰富的信息,也带来了信息过载的困扰,传统的信息服务已经逐渐不能满足用户的需求。因此,个性化信息服务技术的研究和使用,受到社会各界的
随着高速网络技术和多媒体技术的快速发展,人们提出的多媒体通信服务要求也越来越多,传统的Internet是针对非实时的数据通信业务设计的,已经无法满足各种多媒体应用提出的高
在人脸识别算法中,子空间分析方法由于计算代价小、描述能力强等特性,成为目前人脸识别的主流方法之一,广泛应用于人脸识别的特征提取过程中。传统的基于子空间理论的人脸识别算
无线传感器网络常常被部署在一些恶劣的环境下或人不容易到达的区域中,这极大地拓展了人们获取信息的能力,应用前景非常广阔。但组成无线传感器网络的传感器节点往往采用电池