开源网络爬虫在垂直搜索引擎应用

来源 :智能计算机与应用 | 被引量 : 0次 | 上传用户:lv_dan1102
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分析了聚焦爬虫的工作原理和关键技术,对几种开源网络爬虫的功能特点和使用范围进行比较,而后通过改造Heritrix软件的关键模块和功能接口,以抓取中国西藏网新闻为例,实现了开源爬虫软件在垂直搜索的应用。
其他文献
<正>1数值与修约量的数值简称数值,即在量值的表示中与单位相乘的值。当单位为1时,量值就是数值,形式上没有区别。修约按所规定的规则(参见GB 3101—1993《有关量、单位和符
随着中国老龄化社会的不断发展,脑梗死是严重危害人们身心健康的脑血管疾病之一。据流行病学研究显示,中国脑卒中罹患率达到120~180人/每10万人,尤其是脑梗死患者占据65%。深
石油管道工程进度计划管理系统是用于石油管道工程建设阶段进度计划管理的信息系统。绪论中首先介绍了近年来我国石油管道工业大发展需求背景,与历年应用的管道工程建设进度
基于将光电混合实时模式识别技术应用于扫描隧道显微镜(STM)的思想,设计了一种高效率高智能的STM,介绍了智能型STM的组成原理,并给出了计算机摸拟仿真试验结果。
研究了处于生理温度条件下的有机蛋白质分子所激发的孤子对位于分子链中的γ-激活的原子核产生的Moessbaur效应的影响。在分子链不改变所激发的孤子状态下所发射的γ-量子等于分子链的激
对石墨炉原子吸收测铅中几种典型的基体改进剂进行了综述,包括无机基改剂、有机基改剂,单独使用某种基改剂、联合使用几种基改剂,讨论其作用机理,并说明典型基改剂的应用参数
<正> 用极谱法连续测定Mo和W的报道较少,用方波伏安法连续测定U_3O_8中Mo和W至今尚未见到报道,U_3O_8试样中Mo和W含量的比例有时高达100多倍,W的含量又很低,因此用一般的极谱
许多地震工程应用工作中,场地响应由直到30m深度的时间平均剪切波速(VS30)的经验关系式估计。因此这些工作要么依赖于特定场地的VS30测量数据,要么依赖于全球、区域或局部尺度
针对红外图像中的目标对比度低、尺寸小及背景复杂等特点,利用正交变换的去相关特性,提出了一种改进的K-L变换和广义K-L变换的红外弱小目标检测与描述方法,从而实现低信噪比
近些年来,随着环境污染,资源紧缺等一系列问题的涌现,可持续发展问题得到世界各国的广范关注。研究一个区域工业可持续发展的现状,传统的方法是建立合理科学的评价指标体系,