论文部分内容阅读
为了改善数据获取爬虫程序的运行性能和提高数据获取效率,分析了数据爬虫的原理与架构,设计并实现了一种基于Java线程池技术的爬虫程序架构。该爬虫程序采用多个线程并行处理页面,极大地改善了数据获取的效率,提高了用来获取数据的机器的资源利用率。
基于Java线程池技术的数据爬虫设计与实现
【摘 要】
：
为了改善数据获取爬虫程序的运行性能和提高数据获取效率,分析了数据爬虫的原理与架构,设计并实现了一种基于Java线程池技术的爬虫程序架构。该爬虫程序采用多个线程并行处理
【机 构】
：
国际关系学院
【出 处】
：
电脑编程技巧与维护
【发表日期】
：
2016年7期
其他文献
以波纳帕特精神传记分析法为基础,运用弗洛伊德白日梦理论并结合作家生平对《丽姬亚》(1838)进行解读,探讨文中女性角色及其在爱伦·坡生活中的重要性,认为丽姬亚是作者生命
当电感性负载断电时,因自感作用可能产生很高的感应电压,这种现象既可用来产生高电压,也会因此造成破坏,所以它是实际工作中要高度重视的问题.一个实际的电感线圈,除具有一定
为了准确刻画城市环境中的复杂建筑结构对大气运动和污染物输送及扩散过程的影响,结合中尺度模式WRF和微尺度模式Fluent构建了单向耦合的WRF-Fluent模式,并将其应用于榆中县
卫深5井是大庆油田2002年重点探井,钻探目的是评价松辽盆地东南断陷区徐家围子断陷带营城组、沙河子组及火岭石组火山岩及砂砾岩含气情况.在该井采用了欠平衡钻井技术,钻探过
外源抗虫基因的导入将导致植株本身生理代谢等方面发生改变,从而对植物原有抗虫防御体系产生影响。本文综述了外源基因导入对植株外部形态结构、内在生化抗性以及诱导抗性的
【正】 一、税收调节效应的特点税收具有调节经济的职能与作用,并在经济调节体系中占居十分重要的地位。然而,如何正确地认识税收在调节经济过程中所形成的自身特点,这对于加
在路基施工中,路基压实质量控制要求较高,而传统的施工主要依赖压路机操作手的个人经验,容易造成漏压、过压的情况,施工质量难以得到保障。本文主要介绍了高速公路路基施工质
<正> 党的十六大报告有许多重大理论创新,其中关于国有资产管理体制改革提出的新思路就是一个重大创新。报告指出,继续调整国有经济的布局和结构,改革国有资产管理体制,是深