基于纠删码和动态副本策略的HDFS改进系统

来源 :计算机应用 | 被引量 : 1次 | 上传用户:henban
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了让Hadoop分布式文件系统(HDFS)达到更高的存储效率以及更加优化的负载均衡能力,针对HDFS的多副本存储技术提出了改进方案——Noah。Noah引入了编码和译码模块,对HDFS中的block进行编码分解,生成更多数量的数据分片(section),并随机地分散保存到集群当中,替代原有系统的多副本容灾策略;在集群出现节点失效的情况下,通过收集与失效block相关的任意70%左右的section进行原始数据的恢复;同时根据分布式集群运行情况以及对副本数目需求的不同采用动态副本策略。通过相关的集群
其他文献
淄博市是国家发改委、科技部、工信部、国土资源部、国家幵发银行五部门《关于支持首批老工业城市和资源型城市转型升级示范区建设的通知》(发改振兴[2017]671号)确定的首批产
<正>~~
期刊
2005年,湖北省财政系统将被省委、省政府纳入行风民主评议范围。这既是对全省财政系统多年来行风建设的一次全面的检验,也是进一步加强行风建设的难得的机遇。各级财政部门一
期刊
针对白银公司深部铜矿主井提升机原电控低频电源设备老化严重,已属淘汰产品,备品、备件无法采购,导致主井提升机难以正常运行等问题,文章介绍了采用全数字交一交变频低频拖动
本文通过对电解铝厂铸造车间东合金生产线进行技术改造,达到节能降耗的目的.
本文根据湘乡铝厂生产实践情况,介绍了电解质添加剂、阳极和阴极的改造、微机控制及焙烧启动方法的改进等技术进步及对降低电耗的作用,实践证明依靠科技进步是降低电解铝能耗
永平铜矿选厂为降低选矿电能单耗,通过加强各项工作的管理,改造流程设备,采用多碎少磨工艺,应用节能产品和新技术,充分利用回水等措施,选矿能源单耗有了明显的降低,取得了较好的节能
民用建筑在进行电气工程设计时,需要充分考虑用电负荷的需要。一般来说,建筑电气化的现代化程度,也会对民用建筑现代化起到决定性的作用。文章主要针对民用建筑,例如居民楼等
期刊
目前,传统型蒸汽吹灰器因存在诸多问题无法在锅炉运行中正常使用,在声波吹灰技术尚未完全推广应用的情况下,为了保证我厂锅炉尾部受热面清洁,降低排烟温度,提高锅炉的热效率,