随着大数据时代的来临,网页信息爆炸式地增长,个人或者企业网络数据采集需求越来越高。云数据采集系统采用一种网络爬虫技术和SaaS服务结合的云平台新服务模式,向用户提供低成本的、可定制和高效的数据采集服务。针对云数据采集系统中任务和资源管理需求,本文提出云数据采集系统中管理子系统的设计,提供任务管理和资源监控两大功能模块。在任务管理模块中,提供统一的爬虫任务的控制管理接口,同时支持爬虫任务的即时调度功能,并且实时监测任务运行状态;在资源监控模块中,负责实时采集爬虫集群资源状态信息,再通过以爬虫集群为单位的资源负载评估,对负载状态异常的爬虫集群进行动态调度管理,提高爬虫任务运行效率和资源使用率。本文根据云数据采集系统中爬虫程序应用场景,对云数据采集系统中爬虫集群资源负载变化复杂等关键问题进行具体分析,并提出解决方案.。首先建立基于熵权法的资源评估模型,对运行爬虫任务的爬虫集群进行整体的资源负载状态分析。对于资源过供给问题,设计贪心选择算法计算爬虫集群中可删除资源节点;对于资源供给不足问题,提出改进的遗传算法实现空闲资源节点调度处理。最后通过具体的对比实验,验证提出的算法方案在负载异常处理场景下的优越性。在进行了需求分析与关键问题的探讨后,本文给出了管理子系统的详细设计与实现。本文针对管理子系统中主要功能模块设计了测试用例并进行了测试,测试结果证明云数据采集系统中管理子系统的设计与实现符合要求,最后进行了全文总结。