Internet上超过80亿个网页的海量数据使互联网成为当今世界上最大的信息库和全球范围内传播信息的最主要渠道，也为广大用户提供了一个巨大价值的，广阔的获取信息的渠道。但当我们使用搜索引擎在互联网中搜索信息的时候总是经常会出现大量的重复信息，具体表现为搜索引擎的搜索结果极为庞大，在这浩瀚的数据中寻找我们需要的信息无异于是大海捞针。这是搜索引擎领域亟待解决的一个问题。网页消重是搜索引擎领域里一个重要环节。由于网页中存在难以辨别的模板信息，广告等噪音，当前常用的检测算法都无法有效排除这一影响，所以都存在根本性的缺陷。 本文提出了两种网页消重检测算法能有效解决这一问题。并将这两种算法跟两种常见的算法进行了对比测试，用实验证明了这两种算法的优点。 本文在大量实验和数据分析的基础上，得到了如下研究成果和结论： 1)提出了一种基于单一MD5指纹的网页消重高效检测算法。该算法对网页正文块(可见文字)进行排序，选取最大的t个文本块，将这些文本块连接在一起，生成一个代表该网页的MD5指纹，若两个网页有相同的指纹则认为他们是近似网页。 2)提出了一种改进的基于关键词匹配和向量空间模型的近似网页检测算法。该算法对网页正文块(可见文字)进行排序，选取最大的t个文本块，从这些文本块中提取代表网页的特征值，最后对特征值提取网页指纹并进行对比，得出最终结果。 3)最后将本文提出算法跟两种常见的算法进行了对比，并用实验证明了本文提出的算法的优点，这两种算法在时间复杂度、空间复杂度、召回率等性能指标都要优于两种常见算法。