基于HDFS的分布式云存储系统的设计与实现

来源 :北京邮电大学 | 被引量 : 23次 | 上传用户:dinghailing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的飞速发展,特别是移动互联网、物联网等的发展,数据呈现出了爆发式增长,我们已经步入了海量数据的时代。传统的存储管理方式已经不再满足当前的存储现状,如何有效的存储、管理、维护这些数据已经成为了一个热点问题。云存储技术的飞速发展,使得云存储成为了一种新型的数据存储解决方案。越来越多的开发者和企业将数据迁移到云端平台上,以降低数据管理和运维成本,并减轻海量数据的冲击,但是云存储目前还处于发展阶段,各种技术和相应的法律法规并不成熟和完善,因此存储在云端的数据并不是万无一失的,很有可能因为一些突发事件导致用户数据的丢失,或者机密数据的信息泄露,考虑到这些因素企业内部比较敏感重要的数据是不适合存放在现有的商用云存储系统之上的。本文在综合分析了目前国内外云存储技术的发展现状,借鉴了目前最稳定、最成熟的云存储产品Amazon S3中的技术方案,考虑到企业内部现有的硬件存储设备,提出了一个具有高可扩展性、高可靠性、兼容不同存储设备的分布式云存储解决方案——基于HDFS的分布式云存储系统。该系统分为三个部分:底层数据存储部分、中间逻辑处理部分、前端访问部分,整个系统是构建在分布式文件系统HDFS之上的,充分利用了其在数据灾备、容错纠错、数据恢复方面的优秀表现,在底层存储系统之上设计实现了文件读写模块,在兼容Amazon S3协议的基础上,设计实现了面向前端请求的代理模块、核心业务逻辑处理模块、基于数据库的元数据存储模块,提供了两种服务访问方式:Web前端浏览器访问、SDK访问方式,为了确保数据请求在传输过程中的安全性和完整性,设计实现了安全控制模块,这样就构建了一个具有高可扩展、高容错、可靠、安全的分布式云存储系统,最后本文完成了整个云存储系统的分布式部署和测试。
其他文献
改革开放三十多年来,中国经济飞速发展迅速成为世界热点和经济全球化日益加深的背景下,在我国长期居留生活的外国人口也呈直线上升之势。入境外国人的增多,促进了我国经济的
随着无线传感器网络的快速发展,其重要性越来越受到关注。无线传感器网络作为物联网研究和发展的基础,它是物联网向前发展的核心,其承载着物联网基础架构、信息传输和管理等
随着全球电子商务的普及,互联网技术的发展,企业拥有一个可靠的电子商务系统已经是甘肃汇美集团当务之急,也是加速集团电子商务领域应用开发与集成的重要途径。基于.NET和Aja
随着移动互联网的发展和移动终端的普及,移动应用服务开始兴起。它克服了传统互联网服务在空间、网络条件以及硬件上的局限性,可以满足人们随时随地的服务需求,具有方便、快
21世纪是知识经济的信息化时代,教育作为整个社会发展历程至关重要的领域,其传统的教育模式和方法越来越难以满足信息化时代人们的需求,实现“教育信息化”已经是我国现代化
随着城市的快速发展和人民生活水平的不断提高,人民从单位集体分房、集资盖房到现在的个人按自己的需求购买房屋,实现了房产私有化,这使得我国的房屋所有权结构发生了天翻地
政教关系是自宗教产生以来人类面临的一个普遍性问题。几乎没有一个国家不存在政教关系问题,政教关系不仅直接与国家的政治生活密切相关,而且影响到经济、文化、外交等诸多方面
隧道工程危险因素多,掌子面前方工程地质情况复杂,探明掌子面前方工程地质情况已经成为隧道施工过程中不可缺少的安全控制因素。隧道超前地质预报也已经列为规范,成为隧道施
近年来,随着互联网的迅速发展,特别是web2.0时代的革命以及移动互联网的兴起,如何有效利用已有的丰富网络服务资源,已经成为当前互联网环境下的一项重要问题,同时在移动智能
维护社会稳定是我国政府所履行的一项重要职能。社会稳定是政府所力求的执政目标,也是我国社会改革与发展的前提和保障。然而,传统的压力维稳模式却导致维稳失灵,甚至成为社