基于Python的多线程聚焦网络爬虫设计与实现

来源 :赣南师范大学学报 | 被引量 : 0次 | 上传用户:Hotcoolman
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大数据时代下,人们要想从大量数据中找到自己需要的信息变得越来越困难,因此使用网络爬虫处理网络中大量的信息成为了必不可少的方法.本文利用Python语言设计并实现了一种多线程聚焦网络爬虫.首先,通过聚焦爬虫,获取目标网站数据,然后建立相应索引数据库.在爬取数据库的基础上,用户可以通过输入关键字,从多个网络地址URL中获取大量用户所需要的数据.
其他文献
从1979年颁布《中华人民共和国中外合资经营企业法》开始,中国的外资立法从无到有,已渐成体系,对中国利用外资起到了很大的促进和保障作用。然而,随着中国政治、经济形势的不
为什么本世纪没有一个发展中国家能真正进入发达国家行列?为什么发展中国家的经济难逃“失衡——危机——调整”的循环?
摩托罗拉进入中国的十几年,获得了长足发展,成为中国电子领域最大的外国投资企业和美国在华最大的投资商。 1998年,摩托罗拉中国有限公司取得了骄人的业绩。公司销售总额为23
针对传统的基于最小均方误差准则(Minimum mean squared error,MMSE)构造的核极限学习机(Kernel extreme learning machine,KELM)对噪声敏感、容易出现过拟合现象的问题,提出
越来越多的证据表明,某些器官或组织分泌的细胞因子可通过各种途径到达其他器官,从而发挥细胞间沟通的信号作用,参与器官之间“对话”。肝脏、脂肪、骨骼等组织产生的细胞因子,在
<正> 著名人才学家王通讯指出,21世纪给地球村提出了许多新的课题,而“人才问题”无疑是最具魅力的一个。深入研究,你会发现企业之间的竞争首先是人才的竞争,世界500强跨国企
基本趋势是稳定向上 从香港内部和外部环境的变化趋势看,香港的经济前景已较明朗,今后几年香港经济发展中,有利因素仍将占据主导地位。整体经济形势将保持稳定向上的态势。平
在溶剂热条件下,Cd(NO 3)2&#183;4H 2O,K 2C 2O 4&#183;H 2O,四氮唑-1-乙酸(1-tza)和2,2′-联吡啶(2,2′-bipy)在乙腈溶剂中反应得到一个新型的一维化合物[Cd 3C 2O 4(NO 3)4
目的讨论B超及X线在小儿肠套叠诊断中的价值。方法回顾性分析经B超诊断及X线平片检查并经手术或X线下空气灌肠确诊的肠套叠患儿(54例)的相关病例资料。结果超声误诊2例,准确率
利用先进的计算机和条形码技术,准确记录消毒供应中心供应的无菌物品在回收、清洗、消毒、包装、发放等阶段的详细信息,起至啦了节省人力,提高工作效率的作用,既保证了物流通畅,又