论文部分内容阅读
伴随着我国下一代无线移动网络的进程,支撑各种各样电信业务的移动控制网络对底层的存储系统的支持提出了更高的要求。如今日益增加的用户数量和数据流量已经让传统的存储方案显得捉襟见肘。随着这种趋势的到来,如何有效的利用存储空间成为亟待解决的问题。本文首先对国内外主流的几个分布式存储系统进行介绍和分析,并分析分布式系统需要面对的问题和解决方案。在此基础上设计并实现了面向海量用户和海量文件、基于数据块级别数据去重的分布式文件系统CStore,本文主要设计并实现了基于CStore系统的数据回收系统。CStore系统是典型的分布式存储系统,它采用元数据和数据流分离的设计方案,将系统的元数据和文件数据分别存储在不同的集群中,客户端分别访问这些数据关于它们各自的管理和优化。系统的资源定位基于一种两级的哈希映射方案,以桶为单位的负载均衡和副本策略提高系统的可靠性,同时使得系统具有很好的可扩展性。数据去重是CStore系统的主要特点之一,它采用在线的基于数据块级别的重复数据删除策略,这就要求用户在上传文件的时候将整个文件划分成多个数据块,然后分别上传。这样的策略可以节约大量的数据存储空间,提高用户体验,但是同样带来了数据删除的难题。在CStore数据去重的总体架构的基础上,设计并实现了能够以在线或者离线方式执行无效数据删除的垃圾数据删除系统,可以高效并且准确的判断无效数据,进一步节省存储资源。垃圾数据回收系统用于清理系统中没有任何文件引用的无效数据块。该系统基于Bloom Filter算法,在元数据服务器集群数据服务器集群上分别进行相应的操作,由一个中心控制节点负责全局的监控。在容错方面,通过与中心节点建立的心跳连接可以有效得检测到失效的节点,进而进行任务的重新分发,并且该系统为管理员提供了可视化界面,方便管理员控制与管理。本文最后对垃圾数据回收系统的功能和性能进行了测试,证明了它可以正确执行所需功能并保证了其可靠性和准确性。