一种主题自适应聚焦爬虫方法

来源 :计算机应用与软件 | 被引量 : 0次 | 上传用户:wuhao19881016
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对聚焦爬虫主题描述精确度和主题相似度计算准确度偏低造成的主题覆盖率不足和爬取准确度偏低的问题,提出一种主题自适应聚焦爬虫方法。对每次迭代爬取的主题相关文档集建立LDA模型,提取模型热点词,更新主题关键词集及其权重。引入基于Word2vec的主题相似度计算模型,结合文档内容以及锚文本内容词项的语义相似度和TF-IDF值计算链接优先级,引导爬虫抓取主题相关的网页。与基于语义检索的聚焦爬虫和基于向量空间的聚焦爬虫相比,主题自适应聚焦爬虫在主题覆盖率和爬取准确度方面性能更优。
其他文献
目的评价内镜下硬化治疗(endoscopic injection sclerotherapy,EIS)食管与胃/肠吻合术后食管静脉曲张破裂出血(esophageal varices hemorrhage,EVH)的临床疗效。方法回顾近2年解
目的探讨血小板源性生长因子D(PDGF-D)与髓过氧化物酶(MPO)在大肠癌组织和大肠腺瘤组织中的表达及其临床意义。方法通过免疫组织化学染色法检测大肠癌组织及大肠腺瘤组织中PDGF.D
我国自动闭塞制式主要特征。交流计数制式信号应变时间长,信息量少,列车提速不再适用。极频制式不适应电力牵引.将被淘汰。面对铁路列车重载、提速,移频制式由于应变时间短,信息量
随着改革开放的深入,政治体制改革的推进。本文通过对地方党政领导任期稳定性再认识。明确了任期稳定对建设社会主义和谐社会的重要性,并提出了如增强法律观念、完善法律制度、
针对计算机、网络通信、数据处理等相关技术的快速发展,以及在电网应用的拓广,提出了电力自动化与应用与信息系统应考虑的技术问题。旨在保证应用于技术有机遇发展。
深圳市龙岗区南联社区位于龙岗街道中部,座落在龙岗街道与龙岗中心城之间,东接龙岗圩镇,南连南约社区,西邻龙岗中心城,北挽盛平社区。205国道贯穿全社区,惠盐一深汕高速公路也在此
如今,旅行婚纱和旅拍MV已经成为了婚礼影像市场的一个主流趋势,客户需求度越来越高,具备旅拍能力的团队也越来越多,同时适合旅拍的设备也变得更丰富。甚至摄影和摄像团队的合
目的探讨双生子胃黏膜组织中白介素(interleukin,IL)-17的表达水平。方法青岛市区的35对双生子接受胃镜检查。单卵(MZ)双生子23对,异卵(DZ)双生子12对。采用免疫组织化学染色的方法
当前经济运行中的特点,是浙江发展方式转变的初步迹象;当前经济运行中的特点,表明浙江经济提高可持续发展能力和增强国际竞争力的迫切性;当前浙江经济运行中的特点给予我们的重要
讨论了交流变频调速系统中普遍存在的共模干扰问题,包括电机轴承损坏、局部绕组绝缘击穿和电磁干扰(EMI)。通过对双PWM变频调速系统共模干扰机理的研究,建立了变频调速器、传输电