【摘 要】
:
为了减少重复网页对用户的干扰,提高去重效率,提出一种新的大规模网页去重算法。首先利用预定义网页标签值建立网页正文结构树,实现了层次计算指纹相似度;其次,提取网页中高频标点
论文部分内容阅读
为了减少重复网页对用户的干扰,提高去重效率,提出一种新的大规模网页去重算法。首先利用预定义网页标签值建立网页正文结构树,实现了层次计算指纹相似度;其次,提取网页中高频标点字符所在句子中的首尾汉字作为特征码;最后,利用BloomFilter算法对获取的特征指纹进行网页相似度判别。实验表明,该算法将召回率提高到了90%以上,时间复杂度降低到了0(n)。
其他文献
2008年10月25日《新京报》刊登社评认为悲剧和灾难固然是推动法制变革的契机,但更重要的是,如何才能保证这些变革真正实现防止悲剧重演的制度效应。这就要求立法者不空耗灾难
刑法文化是法律文化的子系统,反映、指导某一社会群体(如国家)的刑事政策,对其犯罪防控措施及刑事司法起到一定的决定性作用,直接影响、决定着防控犯罪应用的方法、模式,影响、决定着犯罪防控体系的构建。中国传统刑法文化的形成经历了漫长的发展,春秋战国时期的儒家刑法文化是其典型代表之一。儒家思想的基本范畴是“德”“礼”“教”,儒家的刑法思想,特别是其中的防止和控制犯罪的思想,体现了礼治、德治和人治的基本精神
9736511 初发女性生殖器疱疹的病情经过研究[日]/小泉佳男∥感染志.-1995,69(9).-1063 冀医情9736512 阴道脱出的非手术处理方法/Davila G W∥Postgrad Med.-1996,99(4).-171
风电场的宏观选址问题,是一个多目标的复杂决策问题,不仅需要考虑风能资源这一基本问题,还需要分析交通运输、经济效益、电网状况等多方面的情况。风电场址的好坏,对风电场微
摘要:自九十年代中后期开始,我国房产抵押贷款业务也逐步走向了成熟,成为商业银行信贷业务中的重要组成部分。然而,随着社会经济的发展,人们可以很明显地看到,房产抵押贷款中,除了信
针对快速增长的井喷式状态监测数据,文章提出一种大数据分析方法。介绍了目前大数据流式数据实时分析技术和实时批处理技术,在Hadoop框架下结合状态监测系统的数据特点建立基于
为了研究物理设计可制造性的优化途径,总结可制造性的基本问题,分析了目前工业界使用的可制造性技术的原理及其各自的优缺点。不同于目前业界通行的“工艺技术改进法”,这里认为
线谱对参数具有优越的量化特性和内插特性,以线谱对参数作为滤波器系数的LSF滤波器是一种适用于高压缩率声码器的声道滤波器。MATALAB功能强大且编程方便,广泛应用于各种算法的
本文研究了我国水驱砂岩油田的驱油效率和波及系数,主要结果是:1)极限驱油效率主要受油水粘度比和绝对渗透率影响,中国、美国、苏联的油田有较一致的相关关系;2)水驱开发结束
对飞机结冰外形进行纯三维数值模拟,是目前飞机结冰预测中的一大难点。为了建立三维结冰数值模拟方法,基于Messinger的二维结冰模型,提出了一种考虑液态水溢流效应的三维结冰