基于HTMLParser信息提取的网络爬虫设计

来源 :微计算机信息 | 被引量 : 0次 | 上传用户:liangxiaolong43
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
无论是通用搜索还是垂直搜索,其关键的核心技术之一就是网络爬虫的设计。本文结合HTMLParser信息提取方法,对生活类垂直搜索引擎中网络爬虫进行了详细研究。通过深入分析生活类网站网址的树形结构的构架,开发了收集种子页面URL的模拟搜索器,并基于HTMLParser的信息提取方法,从种子页面中提取出与生活类主题相关的目标URL。经实验测试证明该爬虫的爬准率达93.552%,爬全率达96.720%,表明该网络爬虫是有效的,达到中等规模的垂直搜索企业级应用的要求。
其他文献
茶根结线虫病是茶苗圃和幼龄茶园的严重病害,世界各主要产茶国均有发生。根结线虫病的病原由线形动物门线虫纲根结线虫属的多种线虫引起。该属线虫的雌成虫为柠檬形,黄白色,
本文针对饲料添加剂玉米浆的抗氧化活性进行了研究,首先测定了玉米浆的体外抗氧化活性,然后通过动物实验评价了玉米浆在小鼠体内的抗氧化活性(血清和肝脏TSOD、MDA和GSH)。结
提出基于深度信息与深度置信网络(DBN)的手势检测与识别算法.首先通过Kinect提供的深度信息定位手势区域,并找出手势区域的方向线,根据方向线的角度把手势旋转成垂直向上.结合
通过对临川市一典型建筑物场地的工程地质条件的研究,合理确定岩土参数及论证地基基础方案,产生了良好的经济效益,对本区工程建设具有一定的借鉴意义。
采用电针夹脊穴、风池、大杼、后溪等穴,并配合按摩手法治疗神经根型颈椎病120例,总有效率为97.5%。疗效明显优于单用电针治疗的对照组。
配电网施工的安全管理是整个工程的重中之重,然而由于各种因素的影响,配电网施工还存在诸多安全隐患。文章首先分析了配电网施工安全的重要意义,其次分析了施工中存在的各类
随着西藏经济建设的深入推进,西藏农村也得到了前所未有的发展,然而经济建设是把双刃剑,经济发展的同时伴随的是对生态的破坏.据调查研究和数据表明,西藏的农村水环境已开始
本文选取10名孤独症儿童为被试,采用姚树桥、龚耀先编制的《儿童适应行为评定量表》进行评量,得出结论为:孤独症儿童不同程度地存在适应行为问题;适应行为的个体差异和内在差异较大
在体操教学过程中,合理地运用运动技能的迁移,掌握迁移的规律,对体操教材的选编,体操教学过程的合理组织以及体操教学方法的运用等都有良好的促进作用。
目的探讨眼内窥镜辅助下玻璃体切割手术治疗重症眼外伤的围手术期护理方法。方法选取2010-02-2014-02间我院收治的眼内窥镜辅助下行玻璃体切割手术的重症眼外伤的患者,对所有