企业竞争情报系统日益成为现代企业必不可少的工具，Internet成了企业获取情报信息的重要途径，但是Web信息分散地遍布于世界的每个角落，如何从Web资源中获得特定主题的信息，并及时地向企业提供有价值的情报，已经成信息搜集领域一个新的问题。近年来，面向主题的网络蜘蛛应运而生，已经成为解决主题搜索的重要工具。本文在对国内外主题网络蜘蛛关键技术研究的基础上，在网页解析、文本特征向量提取、主题相关度计算和网络搜索算法方面做了相关工作。本文将网页解析为对应的文档树，并通过遍历树的方式获取网页文本和超链接。获取文本后对文本进行中文分词，根据Web文档的特点，改进了特征词权重的计算方法TF-IDF算法，提出了一种基于词频和标签的特征权重计算算法(FAT算法)。在文本特征向量的基础上，结合锚文本以及所超链接所处的网页环境，提出了一种链接主题相关度计算算法(LTC算法)，保证了主题网络蜘蛛更多地下载与主题相关的页面。在网络搜索算法方面，引入非贪婪选择策略和遗传搜索策略，提出了一种非贪婪遗传搜索算法(NGGS算法)，扩大了搜索空间，避免了搜索的局部最优问题。在以上研究内容的基础上，设计实现了一个主题网络蜘蛛系统(BlueSpider系统)，通过大量的图片、设计类图、流程图及表格深入地描述了BlueSpider系统的设计实现细节。