随着信息技术的飞速发展,互联网上的网页数据成海量增长,其中大量网页都是相似的,这些相似的网页已经成为人们快速获取有效信息的最大阻碍。因此相似性网页的检测和去重已经成为国内外的一个重要研究课题,本文对相似性网页的去重技术进行了深入地分析、研究并进行实验验证。首先,本文在传统的Simhash方法的基础上,改进计算相似度的公式,从多个方面综合计算文档的相似度;改进Simhash算法获取文档特征的过程,通过TF-IDF技术和单词的主题相关性综合计算单词的权重;在检索步骤中采用哈希到桶的思想,当出现分布不均匀的情况时,对桶内的元素二次哈希,减少候选对的数量并使分布更加均匀;其次,本文在传统层次聚类算法的基础上,改进了文档间距离的计算方法;提出了基于最小堆的改进算法,采用最小堆来存储距离矩阵内的距离并按照大小进行排序,减少了计算量;最后,本文结合改进的Simhash算法、改进的层次聚类算法以及新提出的评分算法,提出了一种技术博客网页去重算法,根据实际需求应用于CSDN技术博客网页中的去重,通过实验验证了该算法的科学性与有效性。