重复数据删除(数据消冗)技术是存储领域的一项新兴技术,也是各大存储厂商和研究所追捧的热点,它可以有效缓解存储空间的紧张局势,更高效的进行数据存储。本文研究的海量数据消冗系统正是基于重复数据删除技术实现的一种新型数据存储机制,可以去除大量的冗余数据,降低网络带宽占有率,对缩减数据占用空间、消减存储成本具有重要的意义。首先分析比较几项主流数据消冗算法的优缺点,提出了一种并行层次化的重复数据删除算法PHD(Parallel-Hierarchical De-duplication),通过由粗粒度到细粒度的层次化数据消冗来提高数据去重率,并在此基础上引入并行处理以充分利用多核计算机资源解决重复数据删除速率低的问题。其次针对消冗系统数据存储和访问的关键技术,研究实现了基于动态哈希和key-value的两种存储组织结构,并提出了基于Bloom Filter过滤、内存查询和磁盘查询的三级查询策略来提高系统的访问效率。最后构建大并发通信平台,应用PHD消冗算法、基于动态哈希的存储结构和三级查询策略完成海量数据消冗系统的实现,并进行功能和性能两方面的测试分析。测试结果表明,该海量数据消冗系统不仅拥有很高的数据消冗率,而且具备较好的数据消冗速率,能够更高效的进行数据保护。