基于柯西码的HDFS存储优化策略

来源 :计算机工程与科学 | 被引量 : 0次 | 上传用户:chinagirlxin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,数据存储正接受着严峻的考验。为了改进传统Hadoop分布式文件系统HDFS存在的冗余度高、负载均衡能力不足等问题,提出了一种基于柯西码的动态分散式存储优化策略CDDS。对于系统中的数据块,在保证数据可用性的基础上,依据其热度的不同生成相应的存储方案。对于系统中的冷数据与热数据,分别采用基于柯西码的纠删码技术进行单副本与多副本存储,既保证了数据的可靠性又保证了系统的I/O能力。经测试,运用该策略存储数据所需要的存储空间减小为原来的75%,系统的可靠性与负载均衡能力也得到了增强。
其他文献
加强城市园林的绿化与养护,不仅能提高城市的生态环境建设,而且也改善了人们的生活质量。园林中的树木可通过光合作用吸收CO2并释放O2,以达到净化空气的效果,目前城市的状态
自国内高校1998年开设地理信息系统专业以来,经过10余年的发展,课程体系与培养模式已具备一定规模,但在快速发展过程中暴露出一些问题。针对国内地理信息系统专业人才培养模
数字博物馆是运用虚拟现实技术、三维图形图像技术、计算机网络技术、立体显示系统、互动娱乐技术、特种视效技术,将现实存在的实体博物馆的三维立体的方式完整呈现于网络上的
本文结合社会环境的变化,从事业单位办公室的基本职能以及在职能履行中存在的问题出发,对事业单位办公室管理职能转变策略进行研究。
目的了解西藏亚东自然疫源地详细分布,对自然疫源性疾病相关因素进行调查研究。方法采取夹捕法、粘鼠板法、笼捕法调查啮齿动物的密度分布、种类;常规方法和直接捕捉法调查媒
目的 探讨吐根碱对人脐静脉内皮细胞(HUVECs)增殖、迁移、侵袭和成管能力的影响及其作用机制。方法 培养HUVECs,随机分为阴性对照组、吐根碱低浓度组、吐根碱中浓度组、吐根
分析了气-气热管式换热器离散型设计计算方法产生误差的原因,在离散间壁式模型基础上,建立了考虑温度影响各种物性参数的新离散型设计模型.用平常运行的气-气热管式换热器的
2018年12月13日,大冶特钢应用技术交流会暨压铸模具钢应用技术研讨会在广东佛山市南海区桂城佛山保利洲际酒店举行。本次会议由深圳市模具技术学会和大冶特殊钢股份有限公司