伴随着互联网的爆炸性发展,Web已经发展成为站点遍布全球的巨大信息服务网络,越来越多的人也开始把自己的精力和时间都投向了互联网。电商、视频、论坛、微博等都是获取重要数据的来源。无论是自己想要能够及时获取最新的数据来进行研究亦或者是需要批量获取大量的数据来进行相关分析,都需要一个适当高效的方法来支持这些数据的提取。爬虫技术作为大规模提取数据的技术之一,又重新了映入人们的眼帘。人们在使用爬虫技术从互联网上获取大量的数据的同时,也在不断对其做出改进和完善。在经过对爬虫技术、分布式技术、Docker技术、以及Linux相关技术的学习之后,本论文中总计完成了以下工作:首先提出了实用爬虫的设计思路,并重点详细阐述了信息提取模块和数据存储模块的设计与实现方法以及如何解决网站反爬问题。随后搭建了基于分布式爬虫框架PySpider的分布式爬虫集群来代替人工手动分布式爬虫,并解决了搭建集群时遇到的一些Linux服务器相关问题。接着为了改进分布式爬虫框架PySpider的运行效率,设计并实现了一种使用Docker来构建分布式爬虫集群的方法。对改进前后的爬取效率进行了测试,并对测试结果做出了相应的分析。最后为了结合项目中的实际工作需要,将增量爬虫和分布式爬虫框架PySpider进行了结合,最终实现了基于动态网络数据的分布式增量获取方法。在本文的最后,对目前的工作做出了总结,并对未来的工作进行了相应的展望和部署。