基于纠删码的HDFS存储方案

来源 :计算机系统应用 | 被引量 : 0次 | 上传用户:txj8u5yhb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
HDFS 文件系统通过多副本备份的方式解决数据损坏或丢失的问题,但是随着存储系统内容增多,在数据量级很大的时候,这种容灾方案消耗的额外存储空间是实际存储内容的数倍,不利于系统资源长期积累。文章提出使用纠删码编/解码文件代替 HDFS 的副本备份容灾策略,在保证数据安全性的前提下大大提高了存储空间利用率,降低存储额外消耗。
其他文献
针对传统的数据管理中的数据表示、存储与索引、查询与挖掘等所有技术,不能直接应用于不确定性时间序列数据的相似性查找的不足.研究了可用于不确定性时间序列数据的降维表示、
针对数值优化约束中出现的大规模、多峰多态函数,含离散变量等情况下的全局优化问题,采用常规的优化方法,收敛速度较慢,求得全局极值的概率较低.提出用遗传算法的数值优化约束问题
部署蜜网(Honeynet)的目的之一就是收集数据,但若无法对捕获的数据进行分析处理,则该数据就毫无意义. 本文对蜜网中捕获的日志模块数据利用数据挖掘技术进行标记分类,使用分类算法
面临网络的恶意攻击、设备损坏等突发情况,数据、配置信息的备份就成了系统快速恢复的重要途径.经过反复试验证明,通过Windows系统自带的计划任务、脚本配合相应软件就可以完全
为了改善阔大货物运输安全,提高铁路货物运输效率,开发了一种铁路阔大货物运输超限自动识别系统该自动识别系统利用阔大货物三视图,结合阔大货物运输车辆,在综合分析货物三维空间
利用GT-Power软件建立了某无人机二冲程发动机直喷仿真模型,通过实验获取缸压曲线与仿真结果进行对比,验证了仿真模型的正确性。基于验证的直喷系统仿真模型,分析了高低空环境下
针对视频流中多个车牌的定位问题,提出了一种基于图像复原技术与HSV颜色空间的多车牌定位方法.该方法的主要思想是用改进的维纳滤波器对获取的视频图像进行复原,根据车牌的颜色特征,利用HSV颜色模型构造5级灰度图,对灰度图用形态学方法进行消噪和区域连通处理,最后利用水平、垂直投影技术,结合车牌先验知识,通过分析和判断来确定并分割出各个汽车牌照.实验表明,该方法能有效的从复杂的背景中准确定位并提取出多个运
逆子结构动态分析是结构动力学的新近发展的一项技术理论和分析方法,但逆子结构动态分析需要对大量的数据进行分析计算.为了更有效率地分析,开发了间接逆子结构动态质量检测技术
人脑是自然界中最复杂的系统之一,在该系统中,各个脑区之间相互作用构成脑网络.为方便科学研究,学者们通过不同的方法构建脑功能网络.本文基于自动结构标签模板和典型相关来构建脑
XML文档数据编码模式是XML文档查询处理的基础,好的文档编码模式有利于提高文档的查询效率.为了解决XML数据查询效率低、支持动态更新等问题.本文在二叉树遍历的编码基础上,引入