分布式存储系统中的数据冗余与维护技术研究

被引量 : 0次 | 上传用户:langcy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式存储系统是解决海量数据存储问题的有效手段之一,它利用冗余数据维护技术,通过分散在网络上大量存储节点之间的协作,能够实现长久可靠的数据存储服务;现有大规模数据中心、P2P网络存储和无线网络存储技术等均属于分布式存储系统的范畴。然而,在分布式存储系统中,由于某些存储节点可能会暂时失效或永久失效,所以存储系统一般是通过附加冗余数据信息的方式来保证存储系统的可靠性和可用性,因此分布式存储系统中的数据冗余和维护技术是一个非常重要的研究课题。目前在分布式存储系统的数据冗余和维护技术中,所面临的主要问题有:1)当采取不同的数据冗余策略时,必须研究针对该策略的数据可靠性问题,从而预测系统的失效概率、所需的数据冗余大小和系统的生命周期等。2)针对不同的数据冗余策略,需要研究更加有效的存储编码。3)对于采用纠删码冗余的分布式存储系统,实现数据修复往往需要耗费大量的网络带宽,这对某些低速的存储网络可能是无法容忍的,所以必须研究改进纠删码冗余的数据修复方法。4)某些新的应用可能会使存储的数据从传统的静态文件共享转变为动态文件交互,文件副本需要经常更新,所以必须研究维护冗余副本的一致性问题。因此,分布式存储系统中的数据冗余与维护技术的研究课题有重要的理论意义和实际意义。基于此,本文分别从数据冗余的可靠性、最小存储与最小带宽的数据冗余编码、干扰准直技术的冗余数据维护和冗余数据的一致性维护四个方面对分布式存储系统中的数据冗余和维护技术问题进行了深入分析和研究,取得了若干创新性成果。本文的主要研究工作和创新性成果体现在以下几个方面:1.提出了一种能够预测数据冗余系统可靠性的数学模型(DRSRM,Data Redundancy System Reliability Model)。针对分布式存储系统存储节点的不稳定性,分析了复制和纠删码冗余维护的数据文件可用性,给出了存储节点失效与修复的数学分布,从而计算出存储节点的可靠性模型。在此基础上,提出了复制数据冗余存储系统的可靠性预测模型(DRSRM),该模型能模拟系统冗余数据的维护过程,并由此计算出系统的失效率、经历的时间段和系统生命周期等。2.提出了两种新的数据冗余编码,即:最小存储冗余再生码(MSRRC,Minimum Storage Redundancy Regenerating Code)和最小带宽冗余再生码(MBRRC, Minimum Bandwidth Redundancy Regenerating Code)。本文根据纠删码冗余数据维护中失效数据修复的理论极值点:最小带宽再生点(MBR, Minimum Storage Regeneration)和最小存储再生点(MSR, Minimum Bandwidth Regeneration),提出了最小存储冗余再生码(MSRRC)和最小带宽冗余再生码(MBRRC)的概念,分别给出了这两类编码的数据分布、失效数据修复和数据重构过程,理论证明了实现原理的正确性,并详细给出了两类编码的运行实例,最后通过实验证明了编码的有效性。3.提出了一种运用干扰准直技术实现分布式存储系统冗余数据维护的方法(RDMIA, Redundancy Data Maintenance based on Interference Alignment)。RDMIA方法的突出优点在于:1)丢失的编码分块能直接从其它编码分块的子集中修复,无需重构原数据;2)能从固定数目的存活编码分块就能修复失效分块,该数目只依赖于多少个编码分片丢失,而无需知道哪个分片丢失。运用该技术能极大减少分布式存储系统冗余数据维护时的网络开销。4、提出了一种运用副本信息传播树(RBT, Replica information Broadcast Tree)维护冗余数据一致性的方法(DCMRBT, Data Consistency Maintenance based on RBT)。DCMRBT方法的主要设计思想是:通过为每个数据副本节点的关键词构建RBT,使得系统能追踪副本位置并传播副本更新信息。该策略能有效避免热点和节点失效问题,同时由于避免显示记录节点的ID和IP地址来存储副本,因此能有效地保护节点私密性。
其他文献
<正>随着我国市场经济的逐步深化,建立统一、整合的企业征信系统已是迫在眉睫,但是关于企业征信体系模式的选择仍存在较大的争议。特别是在全国整规办、国务院国资委加紧受理
数学中充满着辩证法,对立统一思想是辩证法思想的核心思想。本文从有穷与无穷、抽象与具体、分解与组合、整体与局部、运动与静止五个侧面分析了对立统一思想在中学数学中的
基于京津冀城市群13个城市2014-2017年面板数据,分析京津冀城市群雾霾污染的时空特征,使用探索性空间数据分析方法检验雾霾污染的空间集聚特征,在此基础上使用空间计量模型对
如果主要货币的竞争性贬值既成事实,如果“货币战争”真的爆发,已经严重超发的中国央行应该如何应对?$$ 对内而言,从货币存量角度看,中国实体经济已经过度货币化,当前的货币回收
报纸
对桐柏山地质遗迹资源进行了较为详细的调查研究,参考中国国家地质公园建设技术要求和工作指南,根据地质遗迹资源的特征和成因对其进行了分类.简要论述了各类型的主要特征及
电力网络技术的演变和用户需求的转变导致了公用供电的商业模式的转变,供电部门需要建立一个新技术支撑的电力网络以适应新需求,PRIME(电力线智能计量演化)正是在此需求和基
【教学目标】1、听辨和感受乌龟和兔子不同的音乐形象,了解表现乌龟的音乐是由大管演奏的,兔子的音乐是由单簧管演奏的,并用线条表现乌龟和兔子的形象;了解乐曲描绘的故事情
一年多前,着眼于解决“三农”问题,乡村振兴被提至重要的国家战略层面。2018年,我国又出台第一个全面推进乡村振兴战略的五年规划——《乡村振兴战略规划(2018-2022年)》。不久前,中
报纸
位于山东省枣庄市山亭区的兴隆庄石板房民居是鲁西南地区特有的现存规模最大、保存最完整的石板房建筑群,也是我国较为罕见的石板房村落。通过对兴隆庄石板房村落的实地调研,
本研究建立实时定量PCR(RQ-PCR)技术检测白血病相关miRNA的方法,探讨此方法在定量检测miRNA中的应用价值。通过提取82例慢性淋巴细胞白血病(CLL)、70例急性白血病(AL)患者骨