互联网在人们的工作生活中占有越来越重要的地位,网站,微博,论坛,QQ,电子邮件等网络应用成为人们重要的沟通方式和信息获取来源。多种服务模式共存,互联网已演化成为一个虚拟社会,如何让这个虚拟社会得到有效监督,成为互联网管理中的大问题。因此,十分有必要结合互联网虚拟社会的特点利用现有的技术手段,构建一个互联网综合管理系统,构建这类管理系统首先需要提供大量的互联网网站备案数据。本文的目标是设计和实现基于Hadoop的分布式网络爬虫系统,从互联网抓取大规模数据,为基础资源管理系统提供网站备案信息。该爬虫系统的抓取方式是全站式信息采集,从省门户网站采集不同网址对应的网站备案信息,并将这些信息整理和存储用于后期网站备案信息管理。本文深入分析了网络爬虫的基本工作原理、体系架构和爬行策略,详细描述了Hadoop分布式平台技术,包括HDFS分布式文件系统和MapReduce分布式计算模型。本文对爬虫系统的业务需求和性能需求进行了分析,完成了系统的物理架构设计、功能模块设计和工作流程设计,并基于系统设计进行各模块的代码编写,完成了系统的具体实现和后期测试工作。本文最终实现了一个基于Hadoop的分布式网络爬虫系统,该系统采用HDFS分布式文件系统和MapReduce计算模型。本文的意义主要在于设计实现的分布式网络爬虫系统在一定程度上解决了单机爬虫系统低效率、低扩展性的弊端,提高了爬虫采集信息的速度和质量,为基础资源管理系统提供了大量网站备案信息。