网页查重算法Shingling和Simhash研究

来源 :计算机与数字工程 | 被引量 : 0次 | 上传用户:px520
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络信息爆炸式增长,人们对信息检索有了更高的要求。在海量的网页中,有很多重复的网页。网页查重可以节省网络带宽,降低存储成本,提高搜索引擎的性能。在网页查重算法中shingling和simhash是比较重要和经典的算法,文中对两种算法做了介绍,包括算法的原理,存在的问题及改进等。
其他文献
分别介绍了双碱法脱硫技术和CFB烟气脱硫技术的工艺原理,从技术难易程度,应用范围,脱硫效率,投资及运行费用等方面对比分析了两种脱硫技术的优劣,总结归纳了各自的优缺点,以
目的观察胆囊结石患者的胆囊胆汁和胆囊结石中的华支睾吸虫虫卵,探讨胆囊结石患者的华支睾吸虫感染及其相关临床特点。方法回顾性分析1 438例胆囊结石患者胆汁和结石中华支睾
就静电实验中的漏电、摩擦起电、验电器等原理问题进行了研究,分析存在的问题,并给出相应的解决方法。
[目的]从护生角度了解自我沟通能力及学习需求。[方法]采用自制的半结构式调查问卷,对已完成4周临床见习的大专护生进行调查。[结果]36.75%护生对自我护理沟通能力评价好,大
大庆是黑龙江省文化金融创新试点示范地区,在文化体制改革不断深化的过程中,中国人民银行大庆市中心支行会同地方政府职能部门推动金融机构积极创新产品、改善服务方式,有效
<正>苏教版教材四年级(下册)《解决问题的策略》这一单元,主要是在学生已经初步学习了用列表的策略解决实际问题的基础上,进一步学习用画图或列表的策略解决稍复杂的实际问题
以红地球葡萄为试材,于2003、2004年分别在河南长垣、开封及新密进行了4个独立试验,主要研究了环剥和GA3处理对红地球葡萄果粒大小、果穗重量、种子数目、果梗耐拉力等性状的
[目的]探讨高血压脑出血术后早期肺叩打对肺部感染的影响。[方法]选择高血压脑出血手术病人,实验组71例,术后24h开始翻身并予肺叩打;对照组58例术后24h开始翻身,72h开始肺叩
苯扎氯铵(BAK)是滴眼液中最常用的防腐剂。虽然它是一种有效的抗菌剂和抗真菌剂,但体外和体内研究均证实它对表面上皮细胞群有副作用,这在涉及长期用于慢性疾病(如青光眼)的
目的探讨自噬标志物LC3B蛋白在子宫颈鳞状细胞癌组织中的表达及其与细胞增殖蛋白Ki-67表达的相关性。方法采用免疫组化SP法检测16例正常子宫颈和126例子宫颈鳞状细胞癌组织中