分布式存储系统中的失效节点修复研究

来源 :长安大学 | 被引量 : 6次 | 上传用户:yzmxfyzm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数据海量化时代的到来,分布式存储技术以其高扩展性和廉价性逐渐成为解决海量数据存储的重要手段。由于分布式存储系统规模庞大、磁盘故障以及其它网络固件发生异常而导致的节点失效问题已经成为一种普遍情况。为了确保数据的可用性,通常需要在节点存储一部分冗余数据,且为了保持分布式存储系统高可靠性,需要对失效存储节点及时修复。分布式存储系统通常采用纠删码来提高系统的可靠性,与复制策略相比,纠删码可以使分布式存储系统的存储开销达到最优,但是在修复单个失效节点时必须以还原整个原文件为代价。再生码在保证系统具有较低存储开销的同时,可以更好地降低修复失效节点所带来的带宽开销,具有重要的应用前景。与此同时,如何降低修复失效节点所带来的磁盘读取开销,也具有十分重要的意义。为了进一步降低分布式存储系统修复单个失效节点所需的带宽开销和磁盘读取开销,本文主要研究以下内容:(1)研究了简单再生码,并在此基础上对简单再生码进行了改进,提出基于简单再生码的分段编码方案。通过将简单再生码中的f个具有相同下标的编码块分成两段,将每段中的编码块进行异或操作生成一个新的校验块。与简单再生码相比,分段编码方案在增加了少量存储开销的基础上,可以在很大程度上降低修复单个失效节点所带来的带宽开销和磁盘读取开销。(2)提出局部最小存储再生码。在基于最小存储再生码的逐步构造编码块算法的基础上,通过将分布式存储系统中的节点进行分组,然后将子文件分别在各分组中构造一个规模较小的最小存储再生码,对失效节点则在修复组内利用逐步构造编码块算法进行局部修复,进一步给出了局部最小存储再生码在不同情况下的分组方案。与基于最小存储再生码的逐步构造编码块算法相比,相同规模的局部最小存储再生码同样可以达到存储开销下限,并且可以有效降低修复单个失效节点所需的带宽开销和磁盘读取开销。
其他文献
摘要:自二十世纪九十年代以来,虚拟现实技术(VR)一直是信息领域研究、开发和应用的热点方向之一,它在飞行仿真、交互式GIS、数字地球、信息可视化和游戏娱乐等领域都有广泛的
随着全球卫星导航系统技术的快速发展,能够同时兼容多个导航系统的多模卫星导航定位技术必将成为未来的发展趋势。与单模导航系统相比,多模导航系统具有可见星数多、覆盖范围
为了应对宽带接入技术的挑战,同时为了满足新型业务的需求,第三代合作伙伴计划(3GPP)在2004年年底,启动了其长期演进(LTE)技术的标准化工作,到2008年年底才基本完成。信道估计是L
计算机软件的不断发展,应用软件的规模和复杂性越来越大,从而对计算机应用软件安全性和可靠性提出了更高的要求。软件测试是为了发现软件产品中的缺陷,并对发现的缺陷进行纠
随着各种便携式计算设备、通信设备、数据存储设备和多媒体处理设备的日益普及,如何在它们之间建立可靠、即时、便捷的互联成为日益迫切的需求。超宽带技术作为一种高速率、
为了实现未来移动通信系统更高的数据传输速率,3GPP组织于近年启动了长期演进(LTE)及其进一步演进技术(LTE-Advanced)。LTE采用了OFDM与MIMO等新型无线技术,可以有效地克服无
人脸表情识别作为智能人机交互技术的重要组成部分,近年来逐渐用于计算机视觉、人工智能等热门领域。不同领域的研究者提出了许多新方法来提高识别的正确率,但通常情况下所采
经过30多年的发展,蜂窝移动通信系统已经发生了脱胎换骨的变化。但是随着数据业务的发展,人们对蜂窝移动通信系统的数据传输速率与服务质量,提出了越来越高的要求。为了满足未来
惯性导航、卫星导航与天文导航这三种具有代表性的导航方式各有优缺点,充分发挥它们各自的优势,互相取长补短,组成组合导航系统是实现精确制导的重要发展方向,也是组合导航研
数字水印技术是将一些标志信息(即数字水印)嵌入到数字载体(包括图像、音频、视频等)中,用来证明载体的所有者,信息将既不影响载体的使用,也不易失去。这就要求数字水印应该