随着全球信息化的推进,我们的社会正在步入一个信息化的社会,政府机构以及各行各业都对信息资源、信息技术以及信息产业的依赖程度越来越大,对存储空间的需求也在飞速地增长。在进行数据备份时,会备份大量相同的数据和文件,而这些相同的数据和文件占据了大量昂贵的磁盘空间。VTL (Virtual Tape Library虚拟磁带库)以其备份性能高、故障率低、可靠性高等优势被广泛用于政府机构以及各行各业的数据存储中。因此,研究可以删除VTL中重复数据的技术是势在必行的。本文首先对虚拟磁带库和重复删除技术在国内外的现状进行了分析,找出了现有重复数据删除技术中存在的问题和不足,从而确立了本文的研究出发点。研究了重复数据删除的基本原理,然后通过以下几个过程：文件数据检测分块、块哈希值计算、块哈希值查找以及哈希值保存,实现了一个基于块级的重复数据删除系统。为了弥补重复数据删除中MD5哈希算法的“哈希冲突”问题,使用了拉链法对哈希算法进行了优化,增强了数据的安全性；为了提高系统检测重复数据块的效率,对基于内容的数据检测算法进行了改进；为了提高哈希表查找的效率,使用了Bloom Filter技术对哈希表进行了优化和改进。最后,在虚拟磁带库与备份软件的环境下对系统进行了测试与分析,从测试结果得出,改进的CDC数据检测算法比FSP和SB算法具有更高的重复删除率,重复删除系统比一般的数据压缩软件具有更高的数据缩减率。