分布式文件系统存储效率优化研究

被引量 : 0次 | 上传用户:qingqwer
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着当今互联网环境中信息呈爆炸式的增长,人们对信息的存储要求已经变得越来越高。而大型互联网公司内部的分布式文件系统的集群规模更是急剧扩张,存储成本也在不断上升。为了保证数据可靠性,现有分布式文件系统通常使用完全数据冗余的方法对文件进行容错,其中采用最多的方法为三副本备份方法。但是三副本备份方法给系统带来了相当大的空间消耗,存储效率低下,所以针对分布式文件系统的存储效率进行优化越来越成为研究中的热点。纠删码技术通过对文件编码生成校验来达到容错目的,能够极大地提升分布式文件系统的存储效率。但是由于纠删码方法需要对文件进行编码解码操作,并且在系统中仅保存了文件的一份副本,对系统性能带来了影响。因此针对此问题,提出一种基于冷热数据区分的混合存储方案,在提高分布式文件系统存储效率的同时,将纠删码技术对系统性能的损耗降低到最小。所提出的方案结合了三副本备份方法和纠删码方法的优点,将新写入的数据以三副本备份方法存储,保证系统性能,当数据变为冷数据时,对文件进行编码转换,并减少副本数,节约存储空间。在编码过程中系统参考了RAID(RedundantArray ofIndependent Disk)中“条带化”的思想以一个条带做为编码单元。测试结果表明,此存储效率优化方案相对于三副本备份方法在存储效率方面提升了约25%,并且此方案将纠删码技术所带来的系统性能损耗由50%降低至5%以内,其性能表现与三副本备份方法基本一致。测试说明了基于冷热数据区分的存储效率优化方案确实集合了多种方案的优势,并在存储成本、数据可靠性和系统性能之间达到了平衡。
其他文献
建筑物门窗的遮阳领域的大多数运用仍停滞在卷轴遮光帘和窗帘上,导致了人工照明和空调制冷与制热的使用幅度大大提高,从而造成了能源的巨大消耗。为了改善这种状况,德国人K STER
近代以来,国家权力介入乡村社会,教师身份的国家建构与乡土生活产生诸多冲突与矛盾。与此相应,乡村教师的社会功能不断弱化,与乡村生活的心理距离逐渐疏远。在建设社会主义新
无机非金属材料具有高强度、高硬度、耐腐蚀、绝缘性能优异的特点,而金属材料具有易加工成形、韧性好的特点,2种材料的连接可以综合两者的优点,因而成为了现阶段的研究热点。
中美两国“三农”政策有着巨大差别。美国对农业、农村、农民的支持和补贴在不断加大 ,而中国是“取大于予”。正是由于中国政策上的这个特点导致了如今严重的城乡失衡问题。
葫芦岛市青山水库工程由枢纽工程及输水工程组成。枢纽工程由主坝、副坝、溢洪道、输水洞和码头组成,主要建筑物级别均为2级。文章分析了水库枢纽区的地形地质条件、气象条件
在大数据、云计算广泛兴起的时代,在企业的层面上,云系统可以承担搜集、整理和存储企业运行中的各种数据的作用,可以及时对数据进行汇总、分析、提取,供企业管理者在进行重大
进入二十一世纪以后,微波无源器件正在朝着小型化、高性能的方向不断发展。在微波无源器件的各种传统设计工艺中,比如高温共烧陶瓷技术、PCB技术等,它们都不能满足微波无源器
高质量发展是当前和今后一段时期的工作指向,是促进实体经济平稳健康发展的内在要求,更是盐城高新区作为全市重要增长极必须扛起的重大责任。高质量发展要求与高新区的"高新"定
<正>自尊是一个人基于自我认识、自我评价所产生的自我体验。自尊对个体健康心理及良好个性的形成有着积极的影响。本文旨在探讨中学生自尊水平与家庭因素之间的关系。对象与
新、旧桥桩基础的差异沉降控制是高速公路拓宽改造工程中的关键技术问题之一,但国内外对加宽桥梁新、旧桩基础差异沉降控制研究较少,我国相关的桥梁设计与施工技术规范目前正在