随着网络信息资源呈几何级数增长,使用搜索引擎准确、快速的查找所需信息也变得越来越困难。主要原因有两个,一是传统的搜索引擎很难将所有的网络资源全都覆盖,做到面面俱到;二是查询结果通常都是成千上万条,真正有用的少量信息隐藏其中,让用户难以发现。垂直搜索引擎的应运而生,成为搜索引擎发展史上的一块里程碑。本文旨在研究垂直搜索引擎基本原理和架构,并实现一个面向技术信息领域的垂直搜索引擎,包括用于垂直搜索的网络爬行器技术,基于超链接的半结构化网页的挖掘,倒排索引及全文检索的实现等。主要分为四大方面的工作:1.桌面元搜索程序的实现,用于采集领域相关的网站网址;2.垂直搜索引擎爬行器的设计和实现。该爬行器和通用爬行器不同,首先它是领域相关的,只爬行领域相关的网页。另外,通过对超链接的分析,该爬行器选择爬行具有一定规范结构的网页,并进行自动分类,便于后续步骤的处理;3.网页的过滤及结构化信息的抽取。将爬行器所抓取的网页进行进一步的过滤,按字段提取其有效信息,将所有这些信息以XML形式存储在本地硬盘;4.倒排索引的建立以及检索接口的实现。寻找高效的数据结构建立倒排索引,以缩短索引建立时间和查询所需时间,系统支持各检索词之间的与或非等基本逻辑关系的组合查询以满足用户的高级检索需求,实现了实时反馈机制以使用户更快速的找到所需信息。技术信息所涵盖范围甚广,涉及到各个行业,有着很大的用户需求。本课题所开发的垂直搜索引擎将为用户提供全面而确切的相关信息,帮助用户不断迎接新挑战,抢占发展先机,做出正确决策。