随着互联网和数据挖掘技术的高速发展,因特网上海量的网页数据价值愈发凸显。现有的网络爬虫技术对于网页数据采集问题存在着不易使用、不易定制等不足。本文把云计算技术和网络爬虫技术相结合,基于软件即服务(SaaS)的服务模式,设计和实现了云数据采集系统中的云爬虫子系统。不同的用户可以根据自身的需求在云爬虫子系统提供的独立的爬虫集群服务上便捷地执行数据采集任务。为了实现分布式爬虫与SaaS模式有机结合,本文主要研究了云爬虫子系统中的两个关键问题:爬虫节点管理和链接抓取任务调度。在爬虫节点管理方面,本文提出了一种使用etcd辅助的爬虫节点管理方案,该方案通过规定子系统中所有爬虫节点一系列共同的行为,使得各个集群的爬虫节点可以混合部署相互替换。该方案支持爬虫节点配置运行时更新,支持对于各个爬虫集群在运行时动态增减节点,以及集群故障节点及时感知,保证爬虫集群服务的可靠性。在链接抓取任务调度方面,本文提出了一种基于jump consistent hash算法改进的调度方案OJCH。OJCH使用jump consistent hash算法计算节点,得到与jump consistent hash算法类似的性能表现,并利用故障节点再散列的方法克服了jump consistent hash无法处理任意节点发生故障的缺点,通过了实验的验证。此外本文还提出了一个支持周期性链接抓取任务的去重方案。此后,本文给出了云爬虫子系统的整体设计方案和各个功能模块的详细设计和实现,包括集群控制模块、网站服务模块、任务队列模块、任务调度模块、任务处理模块和节点管理模块。然后对实现的云爬虫子系统根据相关的测试用例进行测试,验证了云爬虫子系统的各项功能。最后对全文进行总结。