近年来,全球数据量呈爆炸式增长。同时最近的研究发现,数据冗余现象普遍存在于各级存储系统中。数据相似重删技术可以有效地消除系统中的细粒度冗余数据,进而提升各级存储系统的数据管理效率和减少数据存储开销,因此被广泛应用于优化同步复制、数据库备份和归档存储等场景中。具体而言,相似重删是一种数据缩减技术,对系统中的文件或数据进行相似性检测,然后对相似文件和数据进行差量编码,最终只存储差量数据,从而节省存储空间。但是相似重删中的差量编码和相似性检测等算法需要大量的计算,难以匹配日益增长的数据规模。因此,本文对相似重删中的差量编码和相似性检测两个算法进行研究并优化。对于差量编码算法,在快速滑动哈希算法Gear和新型压缩算法Zstd的启发下,本文提出一种新颖的快速差量编码算法Gdelta,实现差量编码计算速度和压缩率的平衡。Gdelta使用改进的快速滑动哈希算法扫描细粒度单词和基于数组的快速索引方案进行单词匹配来提高差量编码速度。在单词匹配之后,Gdelta结合Zstd和FSE,批量压缩差量块,提高数据压缩率。对于相似性检测算法,首先优化其哈希算法,使用Gear滑动哈希取代经典的Rabin滑动哈希,提升哈希计算效率,然后引入跳跃式计算机制减少不必要的计算,最后提出基于上述相似性检测算法的聚合压缩策略,充分挖掘不同数据块之间的相似冗余,进一步提高相似重删的压缩率。在公开数据集和真实数据集下的实验结果表明,相比于目前先进的差量编码算法Xdelta和Zdelta,本文提出的差量编码算法Gdelta在编码/解码速度上提高了 2～4倍,同时压缩率提高了 10%～120%。优化后的相似性检测算法将相似性检测的计算速度提升2～4倍,并且不影响其相似性检测能力。相比经典的独立压缩机制,结合相似聚合压缩的相似重删技术压缩率提升了 5%～18%。