近些年随着互联网中信息量的快速增长,如何及时准确的从互联网上获取信息也变得越来越重要,而面向主题搜索引擎技术的应用正是为此应运而生的。主题搜索引擎是特殊化的搜索引擎,它只面向某一具体的领域或主题,比起通用搜索引擎能更准确,更广泛的搜集领域或主题信息。然而如何为领域、主题相关性的判定制定准确的规则,如何有效的分析过滤无关资源保留相关主题资源,如何扩大对主题资源的搜索的覆盖度,成了主题爬虫系统的研究重点。论文首先,介绍了搜索引擎的相关技术和相关的HTTP协议,描述了通用爬虫系统的工作原理及体系结构,重点阐述了主题爬虫系统的工作原理及体系结构。进而提出了主题爬虫系统相关度和重要度模块的结构设计。其次,研究了主题爬虫系统中主题相关性判定的关键算法并作了相应的应用分析;然后,提出了基于领域概念定制的网页评价算法设计,并设计出主题对象确立算法设计模块、初始种子优化算法设计模块、主题相关度分析算法设计模块和链接重要度分析算法设计模块。最后,成功实现了基于领域概念定制的主题爬虫系统并以足球新闻为主题对系统进行了测试,证明本系统有良好的主题资源搜索准确性和覆盖性。