基于范德蒙码的HDFS优化存储策略研究

被引量 : 0次 | 上传用户:yongzhujushi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,云计算、海量数据处理、移动智能终端、新型社交网络等各种新兴产业不断的崛起与发展,促使了在手机应用,电子商务,社会科学等领域产生的信息不论是数据量还是存储类型,都以极快的速度增长。人们越来越发现,只依靠传统的关系型数据库以及传统处理数据的各种方法来解决现存的存储问题已经逐渐显露出力不从心的趋势,因此,类似HDFS的新型文件管理架构开始进入到人们的视野,越来越受到人们的重视。通过对HDFS分布式文件存储框架的分析与拓展,指出该存储框架存在的几种问题以及目前针对这些问题的研究现,经过分析整理,提出了基于范德蒙码存储优化的方式对HDFS分布式文件系统进行改进的策略。范德蒙码属于纠删码类,具有高效率的编码方式、优秀的空间代价等特点;通过融入范德蒙码优化策略,使HDFS分布式文件系统能够在不影响执行效率的前提下,极大程度的降低存储的空间开销,并通过动态设置校验码的方式将容错度控制在一个理想的范围之内。此外,根据实际情况,HDFS分布式文件系统现在大多都是部署在大量的廉价机集群上的特点,系统的硬件环境无论是执行效率还是存储的稳定性都非常低,节点或者机架整体崩溃的情况不可避免;而单纯的基于范德蒙码的优化策略则更适合在硬件环境较好的条件下运行,能够最大程度的节约存储成本,提高效率;但其应对节点或者机架整体灾难式失效的情况手段却极少。因此,在范德蒙码优化策略的基础上,针对现实应用情况又采用了分散式动态副本控制的思想对系统进行全面的优化,通过动态控制存放副本的数量和位置来提高系统整体的可靠性,并优化了范德蒙码译码的时间代价和计算的内存压力,提高优化策略在硬件执行力不高的情况下的存储效率。设计动态副本分散式存储的方案解决了单纯范德蒙码存储优化策略无法应对节点或机架整体灾难性崩溃的问题,显著提高了HDFS分布式文件系统的执行效率以及可靠性。
其他文献
冻土区域在我国广泛分布,冻土病害问题突出,已经严重影响到了我国冻土地区的基础工程建设速度和地区发展。冻胀融沉是众多冻害中最为常见的,也较难处理的一种。目前有关冻土
特色小镇建设是促进新型城镇化的有效途径之一,成为城乡统筹发展的重要策略。当前,特色小镇的规划建设模式单一,出现“特色危机”、“千镇一面”等现象,小镇设计应达到产业特色鲜明、镇区环境优美、居民生活质量提高的标准,最为重要的就是小镇整体风貌和文化内涵的传承与发展,而传统小镇聚落与传统建筑所体现出来的建筑文化传承发展更是特色小镇风貌建设的核心。由此,当代建筑师应投身于地域文化传承下的地域性建筑创作,探索
宗教批判思想作为构成马克思思想的重要部分,不仅是其实现哲学变革不可或缺的环节,也是理解马克思主义学说的独特视角之一。马克思宗教批判的一个显著特点就是,将对社会、政治和
自1958年北京电视台播出电视剧《一口菜饼子》以来,中国电视剧产业已发展了半个多世纪之久。作为我国社会化、市场化程度最高的一个节目品种,无论是播出总量还是吸纳广告方面
随着经济全球化步伐的不断加快,企业之间的竞争愈发激烈,从而对企业管理理论提出了新的要求,希望通过管理理论的创新使企业在激烈的竞争中获得更大的竞争优势。在这种大背景下企
后冈一期文化是一支主要分布于豫北冀南及附近地区的新石器时代考古学文化,年代约为公元前4500-4000之间。陶器以泥质陶和夹砂红陶为主,器形以鼎、钵(碗)、罐、瓶(壶)等为主,流行圜
人类疾病的动物模型已经广泛的应用在疾病的发病机理研究和治疗效果评估上。相比而言,这些动物模型并没有被引入到药物毒性以及相关分子机制的研究中。之所以毒理科学家还没
随着我国投融资市场的发展,对赌协议(Valuation Adjustment Mechanism)这个词逐渐被人们所熟识。对赌协议是起源于欧美等经济发达国家在投资、并购过程中调整投资方和融资方
目的:建立多波长同时测定百花定喘片中黄芩苷、黄芩素、汉黄芩素、丹皮酚、五味子醇甲、五味子甲素、五味子乙素、白花前胡甲素和白花前胡乙素含量的HPLC法。方法:该药物甲醇
摘要:现代企业所有权和管理权的分离产生了委托代理问题。为了减轻代理成本,管理层激励逐渐被引入现代企业管理。同时作为公司外部监督和担保机制,高质量审计可以缓解企业代理