论文部分内容阅读
目前,重复数据删除技术主要应用于备份和归档系统中,该技术能够降低存储成本并提高系统吞吐量。近年来,在主存储系统中应用去重技术成为了一个热点研究方向。然而,目前最先进的适用于主存储的重复数据删除系统只提供离线的解决方案,离线意味着需要足够的时间窗口,额外的空间和能源开销。相对于离线方案,在线重复数据删除解决方案的最大挑战是,在综合考虑去重率,访问延迟,吞吐量和管理开销等多个指标后,达到一个可接受的综合性能。 ProSy是一款以高精度的相似性判定算法为基础而构建的适用于分布式文件系统的在线重复数据删除系统。该系统可以达到可接受的综合性能,不会引入文件碎片,不需要文件布局信息,而且它更可靠,因为它使用逐字节的比较代替了传统的指纹比较来保证数据的完整性。ProSy的主要思想是通过把首先把文件分割为等长的数据段,再把相似的数据段划归为一类,每一类都拥有自己的比较集,来尽量减少在去重时需要的比较集的大小。通过在真实的数据集上进行的实验评估,表明ProSy是可行的,它能达到令人满意的性能。与未安装ProSy之前的基准系统相比,安装ProSy后可以删除掉60%以上的潜在重复数据,降低了27%的延迟,CPU利用率为2.7%,写吞吐率降低了17%,读吞吐率提高了44%。