基于HDFS安全云存储模型的研究

来源 :广东工业大学 | 被引量 : 1次 | 上传用户:kerchi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于互联网技术和云服务的发展,网民数量不断增长,使得各种信息也呈现爆炸式的增长。在这样的趋势下,传统的存储服务已经满足不了现在用户的需求。不管是企业还是个人都需要一种新型的存储服务。云存储是云计算概念上发展而来。它是利用网络,分布式文件系统等技术通过软硬件结合的方式将网络中的物理存储连接在一起,并为用户提供标准存储接口,方便用户使用。云存储的发展,促使越来越多的用户将自己的数据迁移到云端存储上,同时关于云存储安全也成为必不可少的关注焦点。当我们的数据迁移到云端,云存储提供商就拥有我们数据的绝对控制权,而我们也失去对数据绝对的控制。HDFS作为Hadoop底层分布式文件系统,是当前云存储构建的主流方案之一。由于利用HDFS部署的云存储平台对数据拥有绝对控制问题,本文对团队提出的自主可控安全云存储模型ASOM (All Self-Organization Model)和HDFS内部实现进行研究。针对HDFS的实现主要分析NameNode管理元数据和管理整个集群方式。通过分析DataNode与NameNode之间的有关数据块交互过程,和NameNode中元数据组织流程,在ASOM中设计并实现了元数据子服务和设备管理服务器。在成功提取分离元数据后,设备管理服务器负责管理整个集群的正常运行,元数据子服务器负责命名空间和文件定位。在数据服务器向设备管理服务器上报数据时,设备管理服务器会根据需要转发信息给元数据子服务器,完成元数据组织。而在整个集群运行过程中元数据子服务器和设备管理服务器又不断进行信息交互,为了在交互过程中防止可能泄露敏感数据,在实现时引入了随机表机制。在这个交互的过程里,本文实现了Co-work算法保证这两个服务器在数据交互时的一致性。Co-Work算法是在锁的基础上通过分析实际场景流程使得两个服务器能保证数据的一致性。同时针对ASOM中小文件对应一个数据块内容的安全问题,进行研究和解决。通过对小文件中数据内容部分细粒度数据加密,不仅保证数据的安全,还可以改进因全部数据加密而导致的效率低下。最后本文对该模型的安全性进行实验,对性能,内存使用进行对比分析,证明用户可以对元数据的进行有效的控制与管理,也证明了云服务提供商平台管理员很难对元数据进行可能的恶意操作而带来的安全隐患。
其他文献
Gabor变换作为信号的一种联合时频分析工具,克服了傅里叶变换不能准确地描述一个信号的频率随时间变化情况的缺点。早在1946年,Dennis Gabor将作为傅里叶变换核的复指数函数
在康复医疗领域,现在主要以人工和机器人辅助训练两种康复方法,人工辅助训练是康复教练一对一的对病患进行康复训练的指导,但现实中往往医疗资源匮乏,机器人辅助方式又会有造
随着互联网的高速发展,其信息量和用户数也在飞速增长,人们逐渐步入了信息过载时代,信息过滤的推荐技术应运而生。近年来推荐技术在学术界成为研究热点,在工业界得到了广泛应
数据挖掘的提出和发展是最近十几年的事情,不过现实的需要使得其发展速度非常迅速。数据挖掘技术是通过计算机技术,在多个学科的知识和技术基础上,从大量的实际数据中,分析挖
PLC(Programmable Logic Controller)是一种工业自动控制设备。PLC运行语句表,然后利用I/O装置的输出电压信号控制外部机械或设备的操作。PLC具有适应面广、使用方便、可靠性高、抗干扰能力强、编程简单等特点。软件PLC提供了与硬PLC相同的功能。软PLC也提供了PC环境特有的各种优点。软PLC是一种基于PC机开发结构的控制系统。它具有在功能、可靠性、速度、故障查找等方
张铃教授和张钹院士在深入剖析了人工神经网络的机理后,提出构造性学习理论和方法,获得了成功。构造性机器学习方法是利用球形映射将神经元变换成对有限空间划分的分类器,正
近年来,随着计算机科技的迅猛发展,计算机科技中的各种新技术、新理论、新算法不断涌现,涉及范围越来越广,作为图像的识别、运算与处理基础的图像配准技术也在快速发展中。对两幅
基于属性-值的学习方法的命题化算法是关联规则挖掘算法的的传统方法,即,每一个事实都以的(属性,值)元组形式表示。这种表示形式中,属性种类是固定的,每个属性有一个给定的值
在信息互联网高度发达的今天,解决信息过载问题已经成为互联网技术发展的方向之一。如何从网络海量信息中获取有价值的信息是研究信息过载问题的关键,而个性化推荐作为解决此
当今世界纷繁复杂,各种场合对安全的需求也越来越高。安全、有效、唯一等等得天独厚的优势使得生物特征识别技术逐渐被人们所重视。而根据人行走方式的不同来进行身份识别的