随着信息化程度的不断提高,数据对于企业的重要性愈发凸显。由于企业日常生产过程中会产生了大量的生产数据,尤其是近年来,海量数据的爆炸性增长对数据中心的存储能力提出了更高的要求。统计数据表明,企业日常新增海量数据之间存在着许多相似的数据,为此,提出了重复数据删除技术。当前,采用重复数据删除技术以改进数据存储效率、提高海量数据处理性能具有重要的理论和实用价值。本文设计了一种基于重复数据删除的文件备份系统,该系统能够有效地对文件进行存储并压缩从而节约存储空间,并且,在数据压缩同时也能够节省传输带宽,可以让各个版本的数据在存储器上有效保存,降低磁盘开销。基于重复数据删除的文件备份系统在功能点上可以分为两大功能模块：重复数据删除模块,用于实现文件分块以及数据消重；性能改进模块,用于实现预处理功能和负载均衡。在重复数据删除模块中,为了满足对文件数据变化敏感度低的性能需求,文件分块模块设计采用的是变长分块模式,从而保证了各个版本文件分成的块之间相似性更大。在系统消重模块,引入了BloomFilter算法,以O(1)的时间复杂度完成一次判重处理,该算法在效率上比传统使用数据库进行消重快许多。虽然Bloom Filter有一定的误判率,但是经理论论证与实验表明,当其处理数据在一定的范围内,误判率的大小仍然是可控的。在系统的性能改进模块,定义了一种数据结构——目录层级哈希树,使用该数据结构对待备份目录树进行判重剪枝,以缩短备份时间。对系统的服务器端加入了分布式处理,以保证Bloom Filter的误判率较小,同时在中控器中使用MOSS代理,把客户端的请求均衡到不同的节点上,保证响应客户端的服务请求。实验结果显示,该系统的文件备份能力,在数据压缩比和带宽占用比都明显优于经典的Rsync和LBFS系统。