基于傅立叶变换的网页去重算法

来源 :计算机应用 | 被引量 : 0次 | 上传用户:jklzqren12
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
去除重复网页可以提高搜索引擎的搜索精度,减少数据存储空间。目前文本去重算法以关键词去重、语义指纹去重为主,用上述算法进行网页去重时容易发生误判。通过对字符关系矩阵进行K-L展开,将每个字符映射成为一个数值,然后对这个数值序列做离散傅立叶变换,得到每个网页的傅立叶系数向量,通过比较傅立叶系数向量差异实现对网页的相似度判断。实验结果表明该方法可对网页实现较好的去重。
其他文献
采用调查问卷和临床问诊的方法对湖南省株洲市马加村随机抽样的252名留守村民进行调查,共发放调查问卷264份,回收问卷252份,回收率95.5%。调查表明:81.7%的被调查者有不同程
本文采用.NET技术,旨在开发一个以美食菜谱分享为基础的美食交流平台,使得更多的美食传统做法得到推广,也可激发更多美食创意的产生。 This article uses. NET technology,
城市地下管线测量是一项十分重要的工作,是一门涉及多学科、具有较高科技含量的技术性工作。一个城市要达到查清地下管线现状,建立完整的、准确的、科学的地下管线管理体系,
运用文献资料法、问卷调查法及数理统计法,主要从开展校园足球活动的基本情况、课程设置、训练比赛、师资队伍、场地设施、经费投入使用与组织管理措施、人才培养和校外合作
Fuzzing是一种有效的自动化的漏洞发掘技术,基于Fuzzing漏洞发掘思想,结合对ActiveX控件的研究,设计并实现了一个Windows系统下的ActiveX控件漏洞发掘平台,并改进了Fuzzing数
<正>出生于上世纪70~80年代的年轻一代如今大都已为人父母,他们是当代中国社会创造和积累财富最为迅速的一个群体。如何抢占其子女的消费市场成了商家关注的焦点。广告主们纷
研究了苏里格气田二叠系储集层的沉积相、成岩作用及微观孔隙结构,分析了成岩作用对低渗透储层储集物性的影响。研究结果表明,造成本区砂岩储层特低渗透率的主要原因是成岩期
对致密储层的渗透率及应力敏感性进行了实验研究,建立了以原始储层有效应力(上覆岩层压力与原始储层孔隙压力之差)为有效应力起点的压敏评价方法。实验结果表明,该方法能够反
以近年来备受游客热捧,且景区开放期间游客长期处于饱和状态的贵州百里杜鹃风景区为例,在对当地居民进行问卷调查和实地考察的基础上,运用李克特量表设计调查问卷。调查内容
当前SCADA系统已在长输油气管道获得广泛的应用,中国石油集团公司运行的长输管道基本都纳入了北京油气调控中心集中控制,充分体现了自动化技术的优势。随着管道自动化程度的