基于HDFS的高可扩展性云存储的研究与实现

被引量 : 0次 | 上传用户:hudanrong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Hadoop的HDFS分布式文件系统是当前流行的云存储解决方案之一,在实际应用中HDFS集群需要存储的数据量尤其是小文件数据量越来越大,而HDFS单一NameNode架构存在的单点失效问题和性能瓶颈问题却难以应付迅速增长的数据量,为了解决这些问题,要求HDFS必须具有高可扩展性,提高系统的存储容量以及大规模并发访问的处理能力。因此很有必要对基于HDFS的高可扩展性云存储进行深入研究并提出解决以上问题的策略。本论文提出了一种基于NOSQL(非关系型数据库)的多Namenode节点方案,该方案将原本存储在NameNode内存中的所有元数据迁移到MongoDB分布式数据库集群中,大大降低了NameNode的工作负荷,从而提高了整个系统的运行效率。该方案实现了NameNode节点的高可扩展性,通过增加NameNode节点和数据库服务器的数量可以提高系统的存储容量和大规模并发访问的处理能力。最后,通过仿真实验对本论文提出的方案进行了性能测试。实验结果表明,和现有的基于数据库(MYSQL集群)的多NameNode方案相比较,本论文提出的方案大大降低了系统处理大规模并发请求的响应时间,从而有效地提高了集群系统的大规模并发访问的处理能力。
其他文献
文化创意产业是世界经济进入信息化、全球化时代背景下发展起来的一种新兴产业,蕴涵着巨大的经济潜力。党的十七届六中全会提出了文化大发展、大繁荣的奋斗目标,文化创意产业
核心素养必将对高中数学学科的教学产生深刻影响.核心素养要想落地,需要教师建立正确的知识观与教学观,因为核心素养的培育是离不开知识教学的.高中数学教学中,需要对知识观
目的研究Caspase-3和P73在颊粘膜鳞状细胞癌中应用奥铂联合替加氟化疗前后的表达及临床意义。方法选取30例颊粘膜鳞状细胞癌患者的癌组织为实验组,10例颊粘膜良性肿瘤患者的
目的探讨个体化护理干预对老年2型糖尿病(T2DM)患者生活质量及血糖的影响。方法选取T2DM老年患者80例,随机分为个体干预组及常规组各40例,给予个体干预组患者个体化护理干预,
疑问代词是现代汉语代词中一个很重要的类别,可以用来问人、事物、时间、处所、性质、状态、原因、方式、数目等,不同代词的具体疑问对象有所不同。现代汉语的疑问代词不仅有表
目前在我国的建设施工领域存在着大量的指定分包现象,但无论是国家的法律法规,或是建设部制定的建设工程施工合同示范文本,均没有对指定分包的概念做出明确定义和详细的规定,以至
突发事件以其突发性强、破坏性大、牵涉面广而备受政府和社会公众的广泛关注,已经成为影响和谐社会建设的重要因素。新闻媒体作为政府和群众之间沟通的桥梁与纽带,在信息传播
<正>高血压是最常见的慢性病,也是心脑血管病最常见的危险因素。根据2002年中国居民营养与健康状况调查,我国18岁以上成人高血压患病率为18.8%[1],高血压的知晓率、治疗率和
古筝重奏形式多样,作品织体结构复杂,调性变化频繁,音乐内容丰富,具有较强可听性,也更容易带来给人丰富的感官享受。但由于重奏排练时的种种复杂性,经常会遇到一些独奏时不容