随着网页信息量越来越大,采用通用搜索引擎搜索某一个方面的信息时覆盖率和准确率低,回馈的内容不够详细,噪音过多,维护庞大的网页索引库特别困难,在信息的采集和存储面临着严峻的挑战。由于通用搜索引擎存在以上的缺点垂直搜索引擎正好弥补了这些不足,它最大的特点是精,准,深。论文的主要工作如下：1.介绍了垂直搜索引擎,包括网络蜘蛛,索引器,检索器,用户接口的体系构架和主题页面分布特征、倒排序索引的建立和中文分词等基本技术。2.分析并研究了页面的解析和抓取、与主题相关性判定、网页收集和净化等基本工作原理,优化并且实现了一种页面消重算法。3.利用lucene开发包实现了一个小型垂直搜索引擎。用网络蜘蛛实现对各种类型的文档的解析,包括文本、html、Word、pdf等格式,通过解析文档来提取与主题有关的信息,同时实现了中文分词、索引器和检索器等模块。4.论文对内容重复的网页消重算法进行了改进和实现,它是对传统基于特征串的页面消重算法的一种改进。由于转载导致网址不同而网页内容相同,这样会有大量的重复页面出现,论文页面消重算法改进算法利用了主码和辅码来实现,特征码能够较好反映网页内容和方便计算。主码表示网页文本的段落结构信息,辅码用来标识网页文本的内容信息,这样就能够利用网页文本的结构和内容信息消除重复网页,在很大程度上提高了消重的效率。