论文部分内容阅读
由于互联网技术和云服务的发展,网民数量不断增长,使得各种信息也呈现爆炸式的增长。在这样的趋势下,传统的存储服务已经满足不了现在用户的需求。不管是企业还是个人都需要一种新型的存储服务。云存储是云计算概念上发展而来。它是利用网络,分布式文件系统等技术通过软硬件结合的方式将网络中的物理存储连接在一起,并为用户提供标准存储接口,方便用户使用。云存储的发展,促使越来越多的用户将自己的数据迁移到云端存储上,同时关于云存储安全也成为必不可少的关注焦点。当我们的数据迁移到云端,云存储提供商就拥有我们数据的绝对控制权,而我们也失去对数据绝对的控制。HDFS作为Hadoop底层分布式文件系统,是当前云存储构建的主流方案之一。由于利用HDFS部署的云存储平台对数据拥有绝对控制问题,本文对团队提出的自主可控安全云存储模型ASOM (All Self-Organization Model)和HDFS内部实现进行研究。针对HDFS的实现主要分析NameNode管理元数据和管理整个集群方式。通过分析DataNode与NameNode之间的有关数据块交互过程,和NameNode中元数据组织流程,在ASOM中设计并实现了元数据子服务和设备管理服务器。在成功提取分离元数据后,设备管理服务器负责管理整个集群的正常运行,元数据子服务器负责命名空间和文件定位。在数据服务器向设备管理服务器上报数据时,设备管理服务器会根据需要转发信息给元数据子服务器,完成元数据组织。而在整个集群运行过程中元数据子服务器和设备管理服务器又不断进行信息交互,为了在交互过程中防止可能泄露敏感数据,在实现时引入了随机表机制。在这个交互的过程里,本文实现了Co-work算法保证这两个服务器在数据交互时的一致性。Co-Work算法是在锁的基础上通过分析实际场景流程使得两个服务器能保证数据的一致性。同时针对ASOM中小文件对应一个数据块内容的安全问题,进行研究和解决。通过对小文件中数据内容部分细粒度数据加密,不仅保证数据的安全,还可以改进因全部数据加密而导致的效率低下。最后本文对该模型的安全性进行实验,对性能,内存使用进行对比分析,证明用户可以对元数据的进行有效的控制与管理,也证明了云服务提供商平台管理员很难对元数据进行可能的恶意操作而带来的安全隐患。