随着网络时代的到来,互联网的发展十分迅猛,网络中的信息资源越来越丰富,用户主要通过搜索引擎来获取所需的网络信息。由于WEB网页信息的爆炸式增长以及实时更新等特点,如何在海量的网络信息中获取人们搜索的特定主题信息,成为人们研究的重点课题。本论文的主要研究内容是在设计实现考研信息采集系统的基础上,基于WEB页面、针对考研信息采集的主题搜索,着重研究了主题搜索的关键技术,重点介绍了主题网络爬虫的搜索算法、主题相关度判定、网页文本分类算法在该系统的设计与实现。本文的主要工作和创新点在于：1.主题爬虫的搜索算法设计与实现：在设计考研信息采集系统的主题爬虫时,通过遗传算法能够从全局中选择最优化来控制考研主题爬虫的爬行方向,避免其陷入局部最优中。同时,非贪婪策略对URL链接对应的页面有选择的进行采集,将二者相结合,提出了非贪婪搜索遗传算法,这样既能保证主题爬虫爬行方向的正确性,又能保证采集页面的主题相关性。2.主题相关度判定设计与实现：通过建立向量空间模型对采集页面包含的信息进行主题相关度的判定,本系统利用超链接所处的页面、对应的锚文本、链接自身来计算主题的相关度。3.网页文本分类算法设计与实现：通过K-均值算法对初始数据的完整数据集进行聚类,计算缺失数据集中的记录与簇的相似性,将其加入对应的簇中,然后通过朴素贝叶斯分类算法进行分类。经过实验测试,改进后的K-均值朴素贝叶斯算法的性能得到明显的改善。综合以上的各项研究,详细描述了主题网络爬虫在考研信息采集系统的设计及实现过程。通过对主题爬虫的性能测试,验证了本系统设计的主题爬虫搜索算法的有效性。