随着Internet的迅速发展,网上信息以爆炸性的速度不断丰富和扩展,搜索引擎成为获取信息的必需工具,而网络爬虫作为网页收集工具是搜索引擎的核心组成部分。随着互联网信息量的增大,对搜索引擎网页收集的全面性和及时性提出了更高的要求,因此爬虫的性能面临着巨大的挑战。不仅要求能够尽可能高效率的下载网页,而且要求能够尽量充分地利用计算资源和服务器资源。本文围绕着提高网络爬虫性能的核心需求,在深入研究了爬虫的工作原理和相关技术的基础上,从负载分配过程和负载动态均衡过程两个角度研究了爬虫的动态负载平衡,从多个方面较大提升了爬虫的运行性能。本文的主要成果可归纳为以下几个方面:首先,在对爬虫相关技术进行深入研究的基础上,提出了逻辑二级节点映射法与可扩展哈希算法相结合的静态负载分配策略,并针对实际应用中伪键分布异常的问题改进了可扩展哈希算法。其次,基于静态负载分配策略,提出以负载当量模型衡量并行爬虫系统节点的负载分布,继而根据系统节点的负载分布情况,以超图重划分模型对动态负载调度问题建模,最终引入分级策略解决超图重划分问题。最后,基于上述的理论研究成果,本文设计开发一个高性能的分布式并行网络爬虫系统。