面向主题爬取的多粒度URLs优先级计算方法

来源 :中文信息学报 | 被引量 : 0次 | 上传用户:super8516
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
垂直检索系统中主题爬虫的性能对整个系统至关重要。在设计主题爬虫时需要解决两个问题:一是计算当前页面与给定主题的相关度,二是计算待爬取URLs的访问优先级。对第一个问题,给出利用页面的主题文本块和相关链接块的相关度计算方法;对第二个问题,给出基于主题上下文和四种不同的粒度(即站点级、页面级、块级和链接级)的优先级计算方法。在此基础上,提出基于上述方法的主题爬取算法。实验证明,新算法在不增加时间复杂度的前提下,在查准率和信息量总和方面明显优于其他三种经典的爬取算法。
其他文献
期刊
我公司采用PMIG焊机焊接5052、6061铝合金时,在没有进行无损探伤的情况下,外观检查没有焊接缺陷,但在产品的试运行过程中,频繁受力部位经常出现焊缝根部整个撕裂的现象,直接
基于常州市轨道交通1号线文化宫站,根据城市轨道交通工程建设的特点,采用BIM与GIS相融合的方式,在BIM-GIS可视化交互平台中展示及还原车站周边的地面环境,对车站附属工程的一
本文探讨了互文性与机器翻译的关系,认为对互文性的研究有助于理解机器翻译的过程。先期文本、语类互文性等概念显示了建立语篇语料库的必然性,对语篇进行互文性计算有利于译语
为了实现富水砂卵石地层盾构隧道的安全、优质、高效施工,盾构机刀盘结构必须尽量适应工程地质条件。本文基于成都地铁典型的富水砂卵石地层盾构隧道现场实践,通过对三种不同
随着我国农业经济发展水平的不断提高,如何积极应用农业科技技术成为了相关部门要重点考虑的内容。玉米是河南省的主要种植作物之一,因新蔡县的优越地理环境,当地的玉米种植
旅游犯罪是影响旅游业可持续发展最主要的因素之一,做好预防工作是降低旅游犯罪率必不可少的方法。针对旅游犯罪既有旅游地居民、旅游服务机构、旅游者等主观因素,又有地理环境
采用弗洛伊德心理分析的方法,通过分析老板在小说《苍蝇》中令人费解的行为举止,指出老板对在一战中丧生的儿子的刻意回避和遗忘,不是麻木不仁,冷酷无情,而是为求自我保护导
英语课程是学生在高中课程中必修的一门重要课程,英语作为国际通用语言对学生日后的长远发展有很重大的作用。新课程改革以来,高中英语教学的教学方向已经从教材知识教学逐渐
在小学综合实践活动当中,老师作为教学工作的主要引导者,为了提高课堂的效率,构建更加活跃的课堂氛围,需要积极鼓励学生在使用过程当中进行交流和讨论,才能提高学生们的实践