随着Web上信息的爆炸性增长,人们无法直接而准确地定位感兴趣的资源,越来越多地依赖搜索引擎。然而,由于Web的规模巨大,任何一个网络爬虫均无法获取Web上的所有网页。既然不能抓取到全部网页,那么就需要网络爬虫在有限的时间内尽可能多地抓取较为重要的网页。网页抓取策略就是研究以怎样的顺序来访问Web上的网页以使得网络爬虫能够优先获取Web上的重要页面。本文首先对构建高效率网络爬虫所需的关键技术进行深入研究,其中URL调度器决定了网络爬虫抓取网页的顺序,是实现网页抓取策略的主要功能组件。接着在分析多种网页重要度评定标准的基础上,选取基于PageRank的链接分析评定标准作为衡量网页重要度的依据。PageRank技术充分利用了网页间的超链接信息,综合考虑了一个网页的反向链接数目和质量,客观定义了其在整个Web上的相对重要性。最后,通过对不同网页抓取策略的研究,发现一个好的网页抓取策略在能够优先获取重要页面的同时,还需满足抓取速度,对抓取站点的礼貌性和均衡性的要求。然而,现有的网页抓取策略均不能很好的同时满足这些要求。因此,本文提出了一种综合权重网页抓取策略,采用两级优先级调度策略。站点级的调度可以满足礼貌性和均衡性的要求,网页级的调度通过引入历史信息机制,可以获得质量更高的网页。本文设计和开发了WebCrawler网络爬虫以获取实验所需的数据集,并在其基础上,采用虚拟抓取的方式来对比不同的网页抓取策略。由于Web动态变化的特点,这也使得只有虚拟抓取才能保证不同的网页抓取策略可以在等同的条件下进行对比。实验表明,综合权重网页抓取策略在保证抓取速度,礼貌性和均衡性的前提下,获得了更好的网页质量。