随着网络技术的发展,互联网上站点越来越多,简单的网络爬虫已经不能实现对某些大型站点的大数据存储。解决该问题的最关键是引入分布式存储技术。Hadoop是具有分布式存储HDFS(Hadoop Distributes File System)和分布式计算MapReduce功能的软件框架,因此对基于Hadoop的分布式网络爬虫的研究具有重要的意义。本文对Hadoop存储系统和网络爬虫技术分析后,对计算URL权重算法进行了改进,搭建了分布式爬虫的整体架构,设计并实现了各个爬虫模块。文中主要研究如下：(1)传统的URL权重算法只考虑了网页的目录深度和重要度,本文改进的算法中增加了对网页内容重要度的考虑,提高了URL计算权重的精度。(2)由于在网络爬虫抓取过程中需要频繁的解析URL,导致对DNS服务器的压力过大。本文采用了DNS缓存技术,实现了在短时间内解析同一主机名下的URL时,将之前解析过且被存在缓存中的结果直接进行利用。(3)为了解决爬虫过程中爬取链接重复的问题,采用了布隆过滤器对URL进行消重的方法。在更新模块设计了网页更新算法,该算法是只有在网页变化时,才将新的URL加入到未访问的URL队列中。本文在Hadoop分布式框架的基础上,对网络爬虫中的线程和节点的性能进行了测试,并对所得到的数据进行了分析,相比传统的分布式网络爬虫,提出的分布式网络爬虫具有较高的抓取效率。