基于RS纠删码的云存储容灾系统设计与实现

来源 :湖南大学 | 被引量 : 0次 | 上传用户:zkhjpaul
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在当今社会,伴随着社交网络、物联网、互联网等技术的普及,全球数据信息正以指数级的速度爆炸性增长。而数据的存储量也由TB、PB到EB、ZB甚至YB不断扩大。然而,在人们的生活工作中,来自自然环境破坏、网络病毒感染、人为操作失误等不良因素会导致数据的丢失,将会对企业和社会造成无法挽救的损失。过去采用文件三副本的方法来保证数据的安全性。但是,随着数据指数级的增长,采用三副本需要大量的存储空间,需要大量的存储开销。因此,采用三副本的容灾系统已经不能完全满足系统容错需求与存储效率需要。纠删码是一种前向错误纠正技术和编码容错技术,作为存储系统容错的主要方法越来越受到重视。本文研究基于RS纠删码的云存储容灾系统,主要工作包括以下几个方面:1.首先,本文提出了一种扫描冷数据技术,能够定期的扫描出文件系统中的冷数据文件。求出系统中所有文件的平均热度,如果某文件的被访问次数与没有被访问的时间间隔的比值小于平均热度,该文件视为冷数据。2.然后,本系统利用现有的RS纠删码技术,提出了一种可降低存储成本的容灾备份方案。保留HDFS中冷数据的一个副本,删除冷数据的剩余副本,编码冷数据生成校验块。当需要读取冷数据的时候,如果数据发生丢失,利用冗余数据译码出原始冷数据;如果冷数据被访问了,冷数据变成了热数据,此时,删除冷数据的冗余数据,重新为冷数据文件增添两个副本。3.最后,本文设计了一个云存储系统架构并实现了系统容灾功能。用户在Web界面上能方便的对文件进行操作,包括上传文件、下载文件、删除文件和搜索文件等。在冷数据文件编码和恢复系统界面上,设定时间阀值,能扫描出冷数据;设定不同的编码单元,可以对文件进行不同方案的编码,生成冗余数据,保证数据安全性。最后,对了云存储容灾系统进行功能与性能的验证。
其他文献
伴随计算机及网络技术的不断发展,控制系统中的各类部件利用通信网络相互连接已成为控制系统在未来的主要发展趋势。本研究针对网络控制系统中时变采样周期、数据包丢失等问
随着全球经济的快速发展,众多企业在提高产品“量”的同时,也在对“质”进行提升。节能降耗逐渐成为制造业一个清晰的共识,结合到车间调度中,车间绿色调度可以为企业降低许多
特征选择的目的在于选出能够较好表示类别的相关特征构成的优质特征子集,是克服“维数灾难”的一种数据预处理过程,本质是一种降维技术。目前,特征选择已广泛应用于计算机视
为了有效地降低针对Web应用程序的攻击和漏洞利用所带来的危害,对Web应用程序进行特权分离已经成为了软件安全的第二道防线。传统的对Web应用程序进行特权分离的方法是将一个
计算机辅助颅面复原是一个结合现代解剖学,以计算机为工具,进行数字化颅面复原的新兴技术,应用前景广泛。相关领域专家和学者们在颅面复原算法上已经展开多年研究,但颅面复原
目标跟踪技术是计算机视觉领域当中重点研究课题之一,目标在实际运动过程中不可控环境因素众多,对全局遮挡、光照突变等挑战条件的跟踪技术仍然需要不断的探究发展,单单解决
近几年,随着无线通信技术的快速发展,移动网络的速率得到大大提升,移动视频业务也随之兴起。视频流量的带宽消耗大,传输的重复性高,需要采取措施实现无线资源的有效利用以满
荧光分子断层成像(FMT)根据边界探测到的漫射光分布,同时考虑到组织对光的散射和吸收作用,选取合适的重建方法重建出荧光目标在体内的三维分布和荧光浓度,从而对生物体的生理和
在科学研究和工程应用中都涉及对优化问题的求解,而随着工业发展朝着新型化、综合化、连续化的方向迈进,使得工业生产过程中所面对的优化问题具有多目标求解、强非线性、高变
随着软件规模的扩大和软件复杂度的不断升,软件配置故障已成为导致软件系统失效的主要原因之一。目前软件系统内的配置项约束及其相互之间关联关系的复杂性是导致软件配置故