随着互联网迅速普及并应用于人类生活的各个方面,互联网上的数据急剧增加。用户想要从如此大规模的数据中找到自己想要的信息必须借助搜索引擎。网络爬虫是搜索引擎的核心,它通过广泛抓取互联网中数以亿计个网页的数据,支撑搜索引擎的运行。因此研究高效稳定的网络爬虫系统具有重要的意义。本文主要利用Hadoop大数据平台,研究设计了一个分布式网络爬虫系统,主要工作如下:1)设计了一个基于-Hadoop的分布式网络爬虫,并利用HBase数据库进行数据存储。其中主要包括了可以绕过网站反爬虫机制的抓取模块,提取网页链出URL的解析模块,利用HBase行键的唯一性完成去重功能的去重模块以及方便爬虫系统数据存取和PageRank计算的HBase存储模块。2)在MapR educe分布式计算框架下实现了PageRank算法。利用Hadoop分布式集群强大的计算能力,大幅度提高了PageRank值的计算速度。3)在实验室服务器上搭建了8个节点的Hadoop集群,每个节点安装配置Java开发环境、Hadoop、ZooKeeper、HBase。然后在该实验环境上测试本文设计的分布式网络爬虫的功能性、性能、稳定性和可扩展性,最后测试了MapReduce下PageRank算法的计算速度。经过实验证明,本文设计的分布式网络爬虫系统可以提升数据采集的效率,并且能够长时间稳定运行,还具有良好的可扩展性。在MapReduce框架下,PageRank算法的计算速度也大幅提升。