论文部分内容阅读
网页抓取器是爬虫系统的一个重要部分,其性能的好坏直接影响着搜索引擎的性能。网页抓取器可以分为网络层和应用层,而网络层是关键。基于选取样本页面、定义规则和网页抓取的三个步骤,在linux下使用epoll技术实现了多线程的网页抓取,方法快速有效。
基于linux的网页抓取器的设计
【摘 要】
：
网页抓取器是爬虫系统的一个重要部分,其性能的好坏直接影响着搜索引擎的性能。网页抓取器可以分为网络层和应用层,而网络层是关键。基于选取样本页面、定义规则和网页抓取的
【机 构】
：
广东女子职业技术学院
【出 处】
：
电脑开发与应用
【发表日期】
：
2011年2期
其他文献
随着我国居民经济收入的普遍提高和物流科技的快速发展,动物产品的消费水平和可获得性都有了明显提高。据统计,2013年我国主要动物产品人均消费量（除奶类以外）与国务院印发的《
2014年,在省农技推广中心的直接指导与帮助下,德清县莫干天竺蚕种有限公司在2个原蚕点分别进行了以＂两头在场、中间到户＂（公司集中共育小蚕、收种茧集中保护制种,大蚕由原蚕户饲
目的：观察用中西医结合的方法综合治疗冻结肩的临床疗效.方法：对150例符合诊断标准的冻结肩患者分两组,治疗组90例采用针刀松解,手法推拿配合关节腔内注射玻璃酸钠、中药内服等
目前我国采用的系统变压器存在着保护机制差、供电可靠性低的问题，箱式变压器技术的改造，既能够有效的提高电量的质量，又能够对电力系统提供一定的补偿。所以文章通过对箱式变压
哲学是解决一切问题的方法论.哲学的本质是追求智慧.随着排球比赛竞技水平的不断提高,排球这项集个人能力、集体能力、个人智慧、集体智慧和信息化的隔网对抗性项目,在比赛过
目的 总结推广近年来院校在开展爱卫创卫活动中好的经验做法。方法 回顾性梳理和总结。结果 梳理出党委重视,组织健全;浓厚氛围,强化观念;军地结合,综合施治;突出重点,全面整
方向舵是飞机用来改变飞行方向的重要部件,它主要是通过方向舵操纵钢索来控制方向舵面完成方向的改变.频繁使用的钢索会发生磨损、断裂、弯曲疲劳、生锈等故障,严重威胁到了
从计划向市场的转型已经持续了15年,然而出乎理论家和改革家意料的是,不同转型国家的经济绩效表现出的两极分化趋势却越来越明显,这种现象使我们不得不对过去的经济转型过程
南水北调中线工程线路长,跨越长江、淮河、黄河、海河4大流域,工程地质条件差异较大。自20世纪50年代迄今,长江水利委员会及其它科研设计单位对中线工程全线及大型交叉建筑物