基于Scrapy-Redis的分布式爬取当当网图书数据

来源 :软件工程 | 被引量 : 0次 | 上传用户:luoye83
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
单机的网络爬虫爬取数据效率较低,而研究分布式网络爬虫能有效提高数据的爬取效率。文中选择使用上更为简单的Scrapy-Redis框架,设计一个架构模式为主从式的分布式网络爬虫系统,实现对当当网图书信息的爬取;并对布隆过滤器算法进行研究,分析影响其性能的参数,将算法集成到Scrapy-Redis的Scheduler的去重模块中。系统使用一台主机做Master,两台从机做Slave,最终运行1 小时后,抓取图书信息18,000余条。
其他文献
<正>改革开放四十多年,中国在发展中壮大,14亿人口的大国,中国人均GDP达到了1.2万美元。“2022胡润全球富豪榜”新增153位身价达到十亿美元的企业家,总数达到3381人,中国以1133位企业家蝉联第一,比去年增加75人,其次是美国716位,增加了20人。在2022年《财富》世界500强企业榜单中,中国145家,美国124家,日本47家,中国成为上榜企业数量最多的国家,营收总额也首次超过美国
期刊
基于珠三角科技服务业的良好发展态势,借鉴美国、欧盟、日本和我国浙江、北京、江苏、上海等国内外先进地区科技服务业发展模式的经验,从扶持政策及体制机制、市场化导向、服务体系、人才队伍建设及创新发展模式等方面提出促进珠三角科技服务业发展的建议,以期加快推动珠三角乃至整个广东科技服务业的创新发展。
目的:针对肩峰下滑囊炎(SAB)疾病,分析在肌骨超声引导下开展小针刀疗法的具体应用价值。方法:本项研究于2021年6月正式启动,截止时间是2022年6月。选用此时间段到笔者医院接受诊治的SAB患者76例作为研究主体,根据随机数字表法分为两组,对照组和研究组,各小组有38例患者参与。对比观察两组临床疗效、肩部指标和血清指标数据变化。结果:两组患者经治疗后,临床治疗有效率相比,研究组治疗有效率显著高于
染发剂中非那西丁经甲醇直接提取,无需正己烷萃取,由高效液相色谱分离,二极管阵列检测器检测,回收率均在85.7%~95.2%之间。该方法能够满足一般实验要求,并且简捷高效。
文言文所蕴含的思想内容博大精深,教师不仅要让学生理解文言文的字面含义,更重要的是要让学生能够学有所思、学有所用,不仅能够真正理解文章的内涵和思想价值,而且能够掌握技巧性的学习方法,并一以贯之,将所学的内容联系生活实际,灵活运用,为以后的学习提供思想启发。本文立足于初中语文教学角度,分析了初中语文文言文教学有效策略,希望具有一定参考价值。
<正>失眠,中医亦称"不寐",《内经》记载为"不得卧"、"目不暝",是由心神失养或心神不宁所致,以经常不能够获得正常的睡眠为特征的一类病证[1]。有研究表明,中风后失眠为卒中后常见的,严重的并发症之一[2],一些患者因为生理,心理原因,导致失眠加重,更加影响患者肢体功能的恢复,并进一步影响患者的生活质量[3]。近现代
<正>做强做优、培育世界一流企业,是国企改革发展战略的核心目标之一。2022年2月,中央全面深化改革委员会审议通过《关于加快建设世界一流企业的指导意见》,从“产品卓越、品牌卓著、创新领先和治理现代”四个维度提出了全面推进世界一流企业建设的行动纲领。企业强,则经济强。就我国这样一个庞大经济体而言,国民经济的可持续发展绝对离不开一大批世界一流企业的强力支撑。因此,关于培育世界一流企业的战略意义,
期刊
<正>中国海油集团有限公司(以下简称中海油)成立于1982年,现已成为油气主业突出、产业链完整、规模实力较强的国际能源公司,在2022年《财富》世界500强中排名第65位;2020年以来,在普氏全球能源公司250强排名中,成为唯一一家连续两年进入前十强的中国企业。本人从2019年担任中海油主要领导人以来,始终锚定建设中国特色的国际一流能源公司的奋斗目标,团结带领广大干部员工拼搏奋斗、锐意进取,有力
期刊