基于HDFS的小型云存储系统的研究与实现

来源 :武汉邮电科学研究院 | 被引量 : 0次 | 上传用户:anchor1989
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,云计算越来越受到大家的关注,云存储作为其中的一个热门应用,在海量数据存储方面性能卓越,远远优于传统的存储系统,而如今的数据存储需求呈爆发式增长,传统的存储系统的发展已经很难跟上如今数据需求的增长脚步,因此云存储迅速的成为了大家研究的热点问题。云存储是一种服务,用以满足用户的存储需求,它将用户数据存储在服务器集群上,不管用户在任何地方使用何种终端,只要能连接上云存储系统,就可以访问到自己存储在系统中的数据,相当于给用户提供一个不限容量的移动硬盘,且数据的安全性要远远优于移动硬盘。Hadoop是Apache基金会所开发的支持涉及数千个节点和海量数据的分布式计算的高级项目。它是一个开源免费的软件框架,由java语言实现,全球的开发志愿者共同对它进行完善。HDFS是Hadoop的一个子项目,它是一个分布式文件系统,受到谷歌文件系统(GFS)的启发,提供高吞吐量的应用数据接口使得Hadoop具有很好的性能。但是,尽管HDFS已经被广泛使用,但它仍然存在一些影响性能的缺陷,对于小文件的处理能力就是其中缺陷之一。档案文件(Hadoop Archives)和序列文件(sequence files)是两种现有的改善小文件处理问题的解决方案,但它们仍然有各自的不足,本文在深入研究HDFS的技术模型之后,提出了一个优化方案,即在客户端与系统的集群中间增加一个处理模块,先对小文件进行合并处理,然后再写入系统,并以HDFS、HAR和本文方案分别进行试验,获取三种方案在NameNode内存使用效率和系统访问效率两方面的试验数据,分析试验结果可以验证本文提出的优化方案能够提升HDFS处理小文件的性能。此外,本文在HDFS的基础上,搭建了一套云存储系统,通过调用HDFS API实现了系统的一些基本功能,如用户注册登录、上传文件、浏览文件、下载文件、共享文件等。尽管功能还不够完整细致,但研究实现这套系统可以加深对云存储系统的理解,这对于进一步研究基于HDFS的相关延伸应用具有很好的指导意义。
其他文献
距今六七千年的河姆渡文化和距今四五千年的良渚文化是浙江史前文化的一头一尾,遗存非常丰富,被誉为浙江史前文化的“两朵花”,亦有人称之为浙江史前文化的“双璧”。
近期发生的数起青少年强奸罪案使香港官员重新审视14岁以下青少年无法实施性行为的推定。审查报告主张修改立法,我们对此持反对意见,认为此举缺乏充分的民意征询,此类案件数量尚
12PC2-5柴油机在工作过程中经常发生喷油泵咬卡故障,从供油、材质、制造质量、装配等方面对影响喷油泵咬卡的常见因素进行了分析,并以此为根据提出了预防喷油泵咬卡的改进措
收集整理了世界主要地震国家(如中国、美国、日本等)最新修订的建筑结构规范中关于建筑结构基础隔震的设计标准的情况及具体规定,做了相互的对比分析。通过分析认为,我国在结
砖红绒盖牛肝菌(Xerocomus spadiceus(Fr.)Quel.)隶属于担子菌亚门(Basidiomycotina)、层菌纲(Hymenomycetes)、伞菌目(Agaricales)、牛肝菌科(Boletacea)、绒盖牛肝菌属(Xer
随着国家海洋强国战略的深入推进,在船舶领域,对无人艇的研究需求日益增长。随着船用发动机、船型优化设计、船舶推进技术等提升,无人艇的设计航速也越来越快,相应的对其操纵性要求也越来越高。为了更好的研究无人艇的运动控制特性,对其操纵性进行准确的预报和评估,建立比较精确的操纵运动模型就十分关键。现有较为成熟的、用于获得无人艇操纵运动数学模型参数的传统方法,通常耗时费力、限制条件多、经济性较差。而目前计算机
对于图书馆现有馆藏利用数据及读者荐购数据进行分析,有助于从出版信息、文献内容、选书限制等角度得出对PDA预设文档各要素的设置标准。PDA预设文档建设可解决研究热点转移
比利牛斯山国家公园位于法国科特雷境内,成立于1967年,沿着法国和西班牙国界延伸一百多公里。此地部分壮观景致冠称欧洲第一,包括了大量蝴蝶飞翔的草地和终年积雪的高山峰顶
笔者自1979年至1988年采用自拟补肾固胎汤为主治疗先兆流产109例,取得满意效果,现总结如下。一、临床资料:本组病例为门诊和住院患者,全部病例均经妇科检查,尿妊娠免疫试验或
螺纹接头是油井管柱最薄弱、失效风险最高的部位。腐蚀是引发油井管螺纹接头失效的主要原因,其腐蚀损伤主要源于氢渗透、缝隙、应力的耦合作用,然而,由于缺少有效的原位研究