应用语义相似的海量网页文本去重策略研究

来源 :小型微型计算机系统 | 被引量 : 0次 | 上传用户:wxj1208
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网的高速发展使得信息的获取以及发布几乎变的无成本,因此不免会存在着大量的近似网页,这些网页之间仅仅只有少量的内容是不同的,但其要传递的信息主体却是一致的.而搜索引擎在从互联网上抓取数据时,必须能够准确的检测出近似网页并放弃抓取.主要针对中文网页,改进了提取中文文本内容特征及计算其权值的方法,同时结合词语之间的语义联系,提出利用特征之间的语义相似性生成网页指纹的方法.在大规模真实网页数据集上,利用分布式编程模型进行实验,近似网页检测的效果得到了明显的提升,更加适用于当今海量数据环境下.
其他文献
如今在我国建筑业迅速发展的同时也产生了不小的问题,尤其是对环境的影响.在建筑施工过程中,由于采用的材料不当或者是使用能耗高的设备等都会产生建筑污染,从而对环境产生了
2001年7月24日,镇海炼油化工股份有限公司炼油厂一女工采样走到某罐顶走梯平台时,因走台钢板腐烂,女工随钢板坠地死亡。早在2000年6月,有职工就在合理化建议中提出过“钢板
当前计算机网络技术的不断发展,使工程造价项目管理信息系统更具科学化.文章对建筑工程造价项目管理信息系统发展现状进行分析,并制定解决方案,使其可对数据信息进行正确的、
1前言rn建筑节能是指在建筑物的设计、建造和使用过程中,执行建筑节能的标准和政策,使用节能型的建筑材料、器具和产品,提高建筑物的保温隔热和气密性能,提高采暖供热系统的
广东省湛江市海洋与渔业局拨出专项经费,从8月下旬开始,联合雷州市及徐闻县海洋与渔业局分别在雷州市的英利镇、覃斗镇及徐闻的迈陈镇、西连镇举办了4期“防止食用有毒虾虎鱼知
由于我国经济的不断发展,人们对生活水平的要求也越来越高,其中就包括建筑工程的安全性和功能性的需求.因此,建筑工程队为了保证其效率以及效益,就需要加强建筑工程现场质量
听说过给人建房子,给陆上动物建圈子的,就是没听说过给螃蟹建房子的,在你还在为人生第一套房打拼的时候,有一个人,他已经让螃蟹住上了公寓楼。
在卫星多目标跟踪的背景下,针对传感器网络的协同问题,首次建立了完整的基于移动动态联盟的多目标协同跟踪模型,并针对协同过程中的移动动态联盟形成问题,提出了基于博弈论的联盟形成算法。该协同模型在跟踪多目标时利用移动动态联盟来交换并协调节点间的信息,使节点的行为一致,具有分布式和自组织的特点。仿真实验验证了该协同模型应用在传感器网络多目标跟踪中的有效性。
在消防工作和突发事件的抢险救援中 ,经常涉及危险性气体的检测。本文针对危险性气体的检测 ,介绍了仪器法、传感器法、化学检测法和生物芯片法等气体现场快速检测技术 ,并着
进入新时期以来,得益于我国经济社会高速增长,建筑工程作为重要的基础建设内容而得到了极大程度地发展,因而在此背景下这就要求建筑企业通过做好建筑工程施工管理来达到保障