随着Internet的迅速发展，网络信息增长的速度和人们获取所需信息能力之间的矛盾越来越突出。本文围绕主题搜索引擎这一社会研究的新热点技术，对主题搜索引擎中占有重要地位的主题爬虫给予研究和讨论。主题搜索引擎中的信息采集，即主题爬虫系统的搜索策略的研究，对于主题搜索引擎的应用与发展具有非常重要的作用。论文首先对主题搜索引擎的基本功能进行了简单介绍，引出主题搜索引擎的重要组成部分——主题爬虫，并分析了主题爬虫的基本结构及工作原理。然后对网络爬虫的搜索策略进行了讨论，重点介绍了基于Web超链接结构和基于网页文本内容的启发式搜索策略，并对它们进行了比较。在计算文本内容相似度算法的讨论中引入了经典的基于向量空间模型的分类方法。设计并初步实现了一个主题爬虫SoftSpider，介绍了该爬虫的结构以及相关设计细节。该爬虫的搜索算法是对Authorities and hubs算法的改进，采用了Web超链接分析和网页文本内容相结合的启发式搜索策略。最后对该爬虫的性能进行了测试，同时给出了实验结果及分析。