基于HDFS的文件管理系统的设计与实现

来源 :东南大学 | 被引量 : 7次 | 上传用户:qq310474070
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的发展,各类企业需要保存和处理的数据也急剧增长。通常,中小企业需要对TB甚至PB级别的数据进行存储和分析。传统的工具对于处理如此规模的数据越来越无能为力,分布式文件系统应运而生。Hadoop Distributed File System(HDFS)提供了一个高容错性和高吞吐量的海量数据存储解决方案,它具有高扩展性、高可靠性、高吞吐量、低成本的特点,非常适合中小企业使用。但是由于HDFS并没有提供客户端管理工具,没有监控模块和分布式搜索功能,从而无法满足中小企业希望数据操作简单方便、管理维护便捷直观、访问文件快速高效等实际应用需求。本文在深入理解与分析HDFS的存储技术、读写机制的基础上,基于Hadoop分布式系统架构,设计并实现了一个基于HDFS的在线文件管理系统。论文的主要工作有:(1)提出了基于HDFS的文件管理系统解决方案,设计实现了一个分布式的文件管理系统客户端,使用户能够方便地通过Web页面对存储在HDFS中的海量数据进行管理。(2)提出了IDFS下载优化方案和小文件存储方案,提高了HDFS的下载效率以及小文件的存储性能。(3)利用Elasticsearch分布式搜索技术,对HDFS文件管理系统中的数据创建索引文件,优化和改进索引过程,实现了分布式索引和分布式搜索功能。(4)通过部署和使用Ganglia集群监控系统,对Hadoop集群的节点信息和流量信息进行监控,加强了HDFS文件管理系统的可管理能力。论文最后对所实现的系统进行了详细的功能和性能测试。实验结果表明,基于HDFS的分布式文件管理系统能够高效地管理海量文件,满足中小企业的实际应用需求。
其他文献
轻量化是重型车辆节约能源和减少排放的有效措施,是提高车辆性能的重要途径。针对重型车辆传统采用钢制轮辋质量大、难以有效减重的问题,为推进重载汽车轻量化进程,开展铝合
北京、上海、深圳、哈尔滨、大连……越来越多的城市充满年轻活力,服装成为各个城市亮丽的风景线。而北京壹捌零发现,街拍——这种广受年轻人喜爱的活动则成为他们展示、记录
通过对不同配方的C-41冲卷稳定液代用品的研究,选择出性能良好的C-41冲卷稳定液代用品,在保证效果不变的前提下,可以降低胶卷冲洗的成本。
通过调研,确定了四川地区中高职衔接分段培养物流人才需求的高职阶段的就业面向及学生培养目标、培养规格,对中高职衔接分段培养物流管理专业教学标准提出了优化建议。
综观世界500年,“现代”不仅是一个历时的交替,更是一个共时的交错。迄至今天,不论其以现代、后现代、反现代等何种角色登场,亦无分局内人、局外人,都映射了柏拉图“洞穴寓言”的历久弥新,这也正是困惑重重的现代人不断张望、觅寻“现代性”坐标的意义所在。正是从这个意义而言,理性精神仍是现代性不可毁弃的中枢……  我是真心拥抱现代戏,无他,因为我是个现代人。我也爱古典文学,但你天天“之乎者也”,不免就招人嫌
随着Internet的迅猛发展,基于web技术和数据库架构的网络应用逐渐成为了主流,广泛应用于在我们生活的各个方面。web服务非常便捷,人们对它的依赖度也越来越大,购物、支付和其
目的:观察高压氧联合醒脑静注射液治疗颅脑创伤(TBI)后脑梗死的临床疗效并探讨其对神经功能缺损和血液流变学的影响。方法:将62例TBI脑梗死患者按入院顺序分为对照组、观察组各31
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
在智能电网(smart grid,SG)接入层的无线Mesh网络(wireless mesh networks,WMNs)应用中,针对数据流过度地集中在关键节点而导致数据拥塞问题发生,提出一种基于平衡树的无线Mesh网络路由算法。在传统AODV(ad hoc on-demand distance vector routing)算法的基础上,使用平衡树模型,综合考虑节点剩余容量和转发数据所需的路由跳
介绍了我国内燃机燃油喷射系统行业的现状、机械控制式喷油泵产品的开发历程、具有的能力以及国内外电控燃油喷射系统的形式和发展概况,分析了我国燃油喷射系统行业面临的形