基于HDFS的云存储系统的设计与实现

被引量 : 0次 | 上传用户:manstation
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,云计算由于其可以快速分析处理大量数据而普及。而大容量高性能的存储系统是云计算的基础。其中,分布式存储系统HDFS作为Google File System最为知名的开源实现,已经被广泛使用和研究。它为各大公司和科研机构搭建云存储服务提供了很好的参考。然而,HDFS作为云计算的辅助系统,自身还存在小文件存储效率低下等不足,由于这些不足导致HDFS本身是无法直接提供针对商业需求的应用。为了解决这些问题,本文首先提出针对小文件存储的优化方案并根据实际商业需求设计并实现了基于HDFS集群的分布式文件存储系统。本文所设计的系统主要包括两种访问模式:Web模式和NFS模式。重点研究了小文件存储优化、用户管理、配额管理、NFS和HDFS的融合等方面。本文的主要工作如下:1、针对小文件存储提出了优化方案,并进行了仿真验证。2、设计出一套完整的针对企业级用户需求的解决方案,从客户端的设计到整个系统的架构,从客户的需求分析到功能点的实现,都给出了非常详尽的描述。3、本文完成了三大部分的实现,首先完成了基于Web模式的云存储系统,主要实现了用户登录,配额管理,文件共享等重要功能。然后将NFS引入云存储系统,和HDFS分布式集群系统完成对接,实现了用户可以访问各自的独立空间。最后完成了后台管理系统。4、针对本系统的两种使用模式,使用黑盒子技术设计了非常详尽的测试用例来测试它们各自的性能,并在上传文件、下载文件和不同并发下上传文件这三个场景里进行性能的比较。本文首先针对小文件存储设计了优化方案,通过仿真实验表明优化方案在内存使用效率和文件读取效率方面提高明显。之后利用HDFS作为基础设计并实现了符合商业需求的分布式存储系统,成功将NFS和HDFS进行融合。在实际的测试和应用当中,系统的功能全面而实用、性能也表现良好。
其他文献
分子印迹分离技术通过模拟抗体-抗原相互作用原理,专一地与目标分子互补性结合,从而将目标分子与杂质分离,是一种非常具有发展前景的分离技术。传统的分子印迹技术通常是在有
<正>根据我国专利法规定,专利分为发明专利、实用新型专利和外观设计专利三种。发明是指产品、方法或者其改进所提出的新的技术方案。实用新型是指对产品的形状、构造或者其
<正>从工业精进的20世纪初期到创新四溢的今天,Art Deco风格长盛不衰绝不是机缘巧合,揭开"最畅销"Art Deco的神秘面纱,让我们发现摩登风格的精彩丰盈。机械美学让珠宝硬朗起
目的探讨伊立替康和紫杉醇分别联合顺铂二线治疗小细胞肺癌(small cell lung cancer,SCLC)的疗效。方法回顾性分析我院2006年1月至2011年1月经临床病理诊断为SCLC患者72例,均
独立医学实验室在国外早已普遍存在,在美国已经成为发展很成熟的一种产业,世界上最大独立医学实验室每天可以处理美国全国各地20万客户的超过30万个标本。除了常规检测,独立
探寻经济活动与特定空间的运作规律,并针对该空间所属的区域制定科学合理的区域发展战略,对实现区域发展和区域内人的发展有重要意义。目前,经济学界将经济发展、人的发展与
再论适度通货膨胀与经济发展郭秀闳通货膨胀是影响经济正常增长的一个综合病症,也是世界各国经济运行中普遍伴随的顽症。改革开放以来,我国经济发展经历了通货膨胀的基本稳定期
自从2004年,Geim等人通过机械剥离石墨的方法成功制备了石墨烯,这种典型的二维纳米材料就因为其具有独特的性能迅速成为材料科学最热门的领域之一。石墨烯,sp2杂化碳原子构成
采用切断氧传感器的方法,研究发动机性能的变化。试验发现,由于怠速时发动机温度较低,氧传感器在发动机怠速时在空燃比反馈控制中不起作用。怠速时断开氧传感器对发动机影响
随着无线网络及流媒体在技术基础、传输速率等方面的飞速发展,智能终端在性能、配置上不断提高,越来越多的人通过智能手机等移动终端随时随地的接入互联网来获取自己想要的信