论文部分内容阅读
摘要：网页去重是从给定的大量的数据集合中检测出冗余的网页，然后将冗余的网页从该数据集合中去除的过程，其中基于同源网页的URL去重的研究已经取得了很大的发展，但是针对海量网页去重问题，目前还没有很好的解决方案，文章在基于MD5指纹库网页去重算法的基础上，结合CountingBloomFilter算法的特性，提出了一种快速去重算法IMP—CBFiher。该算法通过减少I／O频繁操作，来提高海量网页去重的效率。实验表明，IMP-CBFilter算法的有效性。