基于Hadoop的云存储系统的设计与实现

来源 :华南师范大学 | 被引量 : 0次 | 上传用户:magutosh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云存储是近些年计算机学科中研究的热门课题。云存储的出现提升了用户随时随地访问文件的便捷性、降低了存储成本、带来了信息存储的新理念。目前云存储的产品已经较为丰富,越来越多的人开始学习和使用云存储服务。   本文主要工作就是在研究云存储架构模型的基础上,借助Hadoop的分布式文件系统(HDFS)来搭建一个云存储平台。Hadoop是Apache的一个软件项目,是对Google文件系统(GFS)和MapReduce的一个开源实现。Hadoop是科研人员研究云计算和云存储的一个很好的参考模型,具有很大的科研价值。Hadoop分布式文件系统HDFS具有强大的分布式文件存储和管理能力。   基于HDFS的模型架构和功能特点,本文工作包括如下两个部分:   首先指出HDFS的架构模型有一个不足的地方,管理文件系统目录空间的NameNode节点存在单点失效问题。针对这个问题,文中给出了一个基于模糊逻辑的NameNode单点失效恢复的优化机制。该机制的创新点在于通过模糊逻辑来预测NameNode的可靠性,基于预测的可靠性来决定是否生成检查点。基于可靠性的检查点可以减少NameNode单点失效恢复的时间。   其次,设计与实现一个基于Hadoop的云存储系统模型。本文针对云存储用户的使用操作和云存储的管理进行了深入研究,设计的云存储系统模型实现了用户的文件上传和下载、系统的设置和运行、存储节点的自动化管理以及系统资源监控等。系统的运行测试验证了设计和实现的云存储系统的有效性。
其他文献
随着现代教育技术和教育信息化的深入发展,教学资源库在现代教育中发挥着越来越重要的作用,已成为新一代校园数字化建设的核心,建设优质、高效的专业教学资源库对于高职院校的专
随着信息技术的进步和飞速发展,各类软件己成为生产力发展和文明进步的强大动力和支撑。如何构建高质量、低风险、可预期、可掌控的可信软件则越来越为人们所重视。围绕“软
作为一种新的软件范型,网构软件所面临的一个关键挑战来自于开放、动态和多变的网络环境所带来的负载动态性。在动态、多变的Internet环境中,用户的行为难以预测,其具体表现为用
云计算作为一种新的计算模式越来越受欢迎,它有效地通过互联网整合大规模计算资源、存储资源,并把这些资源虚拟化,以服务的形式按需提供给用户。云存储是近年来随着云计算的发展
目前流行的信息搜索方法大都基于关键字的匹配,尽管已经出现了赋予文档、查询语句语义含义的检索模型,但这些模型本质上是从句形相关度的匹配转变为词汇语义相关度的匹配。由于
随着计算机网络、多媒体通信的迅猛发展,在网络上进行沟通和信息传输成为现代人交流的重要方式。多媒体数据特别是数字图像信息以其生动、形象直观的特点在多媒体通信中占有
近几年,宽带互联网迅速普及,多媒体技术发展日新月异,向大规模用户提供流媒体服务成为互联网的关键应用之一。大规模网络流媒体应用面临着可扩展性和服务质量两个关键技术需求。
随着计算机、自动化和网络技术的发展,水站远程监控系统的规模越来越大,这造成设备管理困难,设备驱动程序多样化,系统耦合度高等问题。同时,水站业务需求越来越复杂,包含了多
在环境监测、交通网络、数据中心等很多领域中,对异常事件及时、及早的检测和跟踪,是一件非常重要而有意义的事。尤其是在很多领域中,事件发生后往往具有扩散性的特征,会影响周围
随着计算机图象处理技术的发展,人们已将其用于艺术作品的保护和修复领域.该文以敦煌莫高窟为背景,介绍了变色壁画色彩虚拟恢复技术,主要包括以下内容:将图象处理和人工智能