随着Internet的不断发展,网络信息共享给人们带来了极大的方便,但同时引入了大量转载信息。去除重复网页可以提高搜索引擎的搜索精度,减少海量数据存储空间,改善用户的体验;另外重复信息的检测有利于打击文章的剽窃抄袭,保护作者的原创性。综上网页的重复检测是非常有研究意义的课题。网页去重和科技论文抄袭是重复凸显的两个问题。目前的算法以关键词去重、指纹去重为主,解决程序重复及文档重复的论述居多,而对网页噪声的影响考虑的较少,另外搜索引擎实际上是超大规模的网页去重的应用,如何提高去重效率也是本项研究的需要解决的主要问题。本文分别针对以上两类重复提出了相应的解决策略。从理论和应用两方面对去重算法及其应用进行了较为系统的研究,概括如下:(1)大规模网页去重。网页重复以转载为主,去重的瓶颈是如何降低网络噪声的影响和提高去重效率。本文针对网页噪声形式多样,去除噪声规则不易移植的局限性,论述了基于节点重复的较为普适的去除噪声的方法。为了增大网页去重的准确性,然后提出基于最大块的网页特征抽取算法,并与传统的方法加以比较进行分析。最后,本文应用Bloom Filter的特征码映射和B-Tree的特征码组织形式,保证了大规模网页去重的效率。(2)科技论文抄袭检测。当前科技论文抄袭严重,但针对科技论文抄袭的自动检测的学术研究不多。本文对科技论文的抄袭检测做出了尝试。首先将科技论文应用bootstrapping算法进行主题词扩展,并根据主题词的重复情况粗分重复组,然后提出基于滑动窗口的加权相似度算法,采用相似曲线图的较为直观的表现计算结果,取得了较好的研究效果。