随着Internet的快速发展,网络已经普及到社会的每一个角落。人们的日常行为和生活,越来越依赖于网络提供的信息。搜索引擎正是为大众提供便捷的搜索服务,成为提供网络信息资源的最佳工具。而搜索引擎的核心组成之一网络爬行器,能够下载海量的互联网页,并交给搜索引擎进行处理,以便于将信息提供给用户。因此,网络爬行器的研究成为科学界研究的重点。传统的分布式系统框架存在很多的问题,所以MapReduce这一新的分布式框架便应运而生,逐渐开始得到了人们的重视。本论文正是基于MapReduce框架,设计了一款全新的分布式网络爬行器。　　 针对分布式网络爬行器技术的研究,本文在国内外相关研究的基础上,重点研究了以下两个关键技术与实现:首先,现有的分布式网络爬行器技术,一般在链接调度方面有很大的问题,不能够满足任务分配的一致性。本文研究了基于动态哈希树的链接调度算法,从根本上解决了任务分配的一致性问题,并通过实验证明了任务分配的有效性,证明新的链接调度算法,能够更好的服务于搜索引擎系统。其次,在分布式系统中,需要有海量的被调度的链接信息进行存储操作。而现有分布式网络爬行器系统中,一般采用多级缓存模式,需要设计精巧的数据结构来进行存储操作。本文提出了一种基于改进Trie树和文件池的二级缓存模式,增加了异步归并和批处理工作模式,在节省了内存使用空间的同时,提高了调度信息处理的速度与效率。　　 最后,本文实现了一个基于MapReduce模型下的分布式网络爬行器系统。理论和实践均证明,应用本文研究的关键技术,能够提高爬行器系统的性能,使其能够满足互联网下网页下载的需要。