随着网络技术的迅速发展和互联网规模的不断扩大,互联网已经成为了全球最大、最广泛使用的信息库,人们能够获得的信息资源也日益丰富。网络信息的指数级膨胀给信息检索带来了巨大的困难,并且网络信息的易复制性使得网络中存在大量的重复信息,因此,发现并消除重复信息的研究工作具有重要意义。本文首先对传统的文本聚类方法和网页消重方法进行了研究,总结了它们各自的优缺点。并结合两种聚类算法的优点,提出Bisecting Kmeans++聚类算法,通过UCI数据集的测试评估,验证了它在聚类的最大凝聚度,正确率以及时间开销方面都比较理想。然后,本文通过Tidy将Web文档转换为格式良好的HTML文档,并利用DOM解析成树状结构。由于网页数据存在噪音的特点,文中提出最大正文块算法用于特定网页集合的噪声去除和正文块发现,并验证了它的可行性。并在经过最大正文块去噪后的网页集合对Bisecting Kmeans++算法和前N项高频词MD5值算法进行比对实验,发现它在查准率和查全率上有优势,但在时间开销上略逊一筹。在B2B门户网站信息抽取项目的公司信息整合模块中,以前的基于关键词和向量空间模型的消重算法已经无法胜任。面对实际应用中遇到的问题,文中提出了把实体识别方法应用到重复公司信息发现中,通过公司信息的整合,一方面消除了重复数据,节省了存储空间,提高了搜索引擎的用户体验;另一方面挖掘出了公司的详细信息,并为用于产品检索的质量排名算法提供了评分依据。