HDFS文件系统升级方案的研究与实现

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:mmg5fc1cc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大数据时代,谁掌握了数据,谁就掌握了主动权。面对着日益增长的海量数据,海量数据的存储成为了另一个新的研究课题。传统的数据库已经无法完成海量数据的存储、检索等一系列功能,而HDFS作为一个面向大规模数据密集型应用的、可伸缩的分布式文件系统解决了海量数据存储的问题。基于HDFS文件系统的性能、可靠性、可扩展性等一系列优势,HDFS受到了越来越多企业的青睐。然而,企业在使用HDFS的同时在其升级的工作中却遇到了众多困难。本文首先研究了HDFS文件系统的理论知识,主要包含Google发表的《The Google file system》论文;并以此为基础,深入剖析了HDFS诞生的理论基础、架构以及常用的读、写流程。其次,结合本人实习期间的工作内容,详细的介绍了HDFS文件系统常用的升级方案,并结合升级方案提出了一种新的服务端向下兼容的升级方案,此方案可以解决定制化功能后的HDFS无法升级到社区版本的问题。并基于实习公司HDFS的实际情况,介绍了如何在拥有众多历史负担的情况下将低版本的HDFS跨版本升级到3.1.2版本的具体实现。最后,在相同测试环境下对升级前后的HDFS进行了简单的性能测试,充分验证了方案的可行性以及重要性。本文介绍了HDFS升级方案的设计思路与具体实现,为其它有类似升级需求的企业提供了新的思路。
其他文献
纤维增强树脂基复合材料由于其高比强度、高比模量和可设计性而广泛用于航空航天、汽车工业及石化等领域。依照树脂基体选材的不同,可划分为热固性复合材料及热塑性复合材料
研究目的:随着我国老龄化问题日趋凸显,70岁以上老年人体质问题是老年工作的重点与难点。基于老龄化问题与老年体质之间的互动逻辑,本研究通过全国范围70岁以上老年人体质测
随着自动化生产线的不断发展和广泛应用,能适用于生产线上规则或不规则物料高速输送和精确定位的特种供送螺杆系统,在准确性、稳定性和灵活性方面表现出巨大优势,使其成为自
手性膦化合物在不对称催化反应中具有非常重要的作用,在过去的几十年里,它们已经成为了有机合成领域的一大研究热点。手性膦化合物既可以作为有机小分子叔膦催化剂实现不对称
在大数据、云计算、物联网、高清视频等新一代信息技术日新月异的今天,“云生活”成为一种新潮的生活方式,庞大的数据吞吐量以及数据传输速率,对未来通信行业提出了更高的要
随着时代的进步发展,在当前高校教育过程中,社会各界人士对素质教育工作要求不断提高,尤其是思想政治教育工作,作为紧密联系学生生活实际以及道德素养的关键科目,基于新时期
随着我国对光伏行业的政策支持和价格补贴,光伏信息化建设已步入了快速发展的新阶段。然而,在生产中,光伏电站必须保证24小时不间断运行,电站运维工作面临严峻的挑战。目前,部分光伏电站虽然采取了信息化的运维方式,但是运维系统操作复杂,用户学习成本高,设备状态和运维流程无法进行有效评估。同时,设备故障难以及时定位,大部分故障需要人工巡检的方式进行排除。电站运维作业的优劣完全取决于运维人员的效率和专业水平,
<正>森林具有调节气候、保护环境、维持物种资源和提供游憩场所等多方面的生态效益和社会效益。同时,森林又是林业物质生产的基础,是国民经济重要的自然资源,具有非常重要的
会议
油松人工林是辽西地区森林的主体,约占有林面积的50%,但受森林经营理念、经济技术条件的限制,大多数油松人工林经营水平不高,基本处于消极的管护状态。辽西地区油松人工林大
中医曾为亚洲各国的人民的健康及人口繁衍作出过巨大的贡献,时至今日她仍然有着强的生命力并发挥着重要的作用。作为为一个古老的医种依然对现代的老年认知症的介护有着许多
会议