互联网飞速发展,网络上的资源越来越多,获取所需信息的能力变得非常重要。由于通用搜索引擎的诸多缺点,面向特定主题的垂直搜索引擎成为了研究热点。主题爬虫作为垂直搜索引擎的数据来源,起着关键性的作用。本文通过分析汽车主题网页,实现了面向汽车的主题爬虫系统——CarSpider。在CarSpider系统中,采用主题关键词组成的特征向量进行主题描述,并利用ODP目录和搜索引擎选取与汽车有关的并且具有权威性的链接作为爬虫的种子URL。由于html代码的不规范,采用html Tidy对网页源码进行整理,并利用网页的结构采用DOM树模型对网页进行预处理。对网页类型进行区分,针对不同类型的网页采用不同的方法提取网页内容。采用URL分析法、爬行历史记录法和统计法判断网页类型。在提取网页内容块中的主题相关信息时,采用向量空间模型来计算内容块与主题的相关度。为了提高爬虫的网页抓取效率,采用基于网页内容和基于网络结构的URL主题相关度预测方法,并提出自适应的主题爬行方法。其中基于网页内容的URL主题相关度预测算法通过站点级别、网页块级别、链接级别三个级别来计算待爬行URL的优先级；基于网络结构的URL相关度预测算法充分利用互联网的图结构,针对PageRank算法发现的重要网页时不区分主题的,无法适应主题爬行这个缺点,对其进行改进,将主题相关度与PageRank算法相结合,从而使与主题相关的网页获得较高的PageRank值。在网页消重方面,选择Bloom Filter进行URL消重,利用网页特征向量进行内容消重,最大程度的消除重复网页。最后,对CarSpider进行测试,主要从网页抓取速度和抓取准确度两个方面来进行实验,通过对测试数据的分析,得到了较好的结果。