随着互联网络的迅猛发展,搜索引擎已经成为网民的第一应用。为了在浩若烟海的网络中能查找到更合适的信息,更专业化更高准确率的垂直搜索引擎已成为人们获取所需的知识必不可少的工具。以何种策略有效地访问网络资源提高搜索效率是搜索引擎中网络爬虫研究的主要问题。本文的主要工作和研究成果如下:1.首先对垂直搜索引擎主题爬虫研究中的相关理论做了分析。对搜索引擎的分类、通用搜索引擎的结构、垂直搜索引擎以及垂直搜索的四个关键技术做了研究。对网络爬虫及关键技术、爬虫架构需求、主题爬虫特别之处做了相关研究。分别解析了通用爬虫和主题爬虫的模型及模块。2.分析了搜索引擎中网络爬虫的搜索策略。对搜索策略的定义及分类做了研究,分析了各种搜索算法的优缺点。比较了基于内容评价的搜索策略和基于链接结构评价的搜索策略,对这两种应用广泛的搜索策略的典型算法做了详细分析。3.本文提出了一种基于综合价值的搜索策略。此策略先从分析主题相似度的角度入手,通过内容评价搜索策略来发现与主题相关的URL,然后根据链接结构对URL排序来决定爬行顺序,以提高整体搜索效率。考虑到基于内容评价的搜索策略的网络爬虫仅仅在距离相关页面集较近的地方搜索时表现出良好的性能,缺乏“全局性”,普遍存在“近视”的缺点。基于链接结构评价的搜索策略,虽考虑了链接的结构特征,但会出现搜索偏离主题的“主题漂移”问题及计算复杂度高等缺点。考虑到采用单一的评价方法不能有效预测链接URL的真实价值,为了提高链接价值预测的准确性,将两类评价标准相结合。4.在对基于综合价值的主题爬虫搜索策略做了详细说明后,设计了这种搜索策略的模型,用JAVA程序的做了系统实现。并对其做了实验测评,验证了所提出模型的优越性。