由于互联网的急速发展,网络上各行各业的信息浩如烟海。在招聘领域,种类繁多的招聘网站给应聘者提供了大量的招聘信息的同时也给其带来了一些困扰。由于各个招聘网站的数据相互封闭,应聘者想要全面的搜集相关的招聘信息就需要浏览多达数十个招聘网站,这给应聘者带来了极大的不便。因此,利用相关技术构建一个面向招聘领域的垂直搜索引擎系统十分必要。本文主要工作是利用相关技术来实现一个面向招聘领域的垂直搜索引擎系统。系统包含爬虫模块、索引模块和检索模块。其中网络爬虫模块是通过改进shark-search算法来制定网络爬虫策略,使网络爬虫过滤掉网页中与主题无关的链接。采集到与主题相关的网页后,使用HTMLParser来提取网页中的结构化数据,并存储到数据库中。针对系统需要存储海量的招聘数据,数据库使用HBase来进行存储。HBase数据库利用分布式的特点,很容易的通过横向扩容来解决所需的存储容量。网络爬虫框架采用JLite Spider,它是一个由java语言开发的爬虫框架,具有轻量、分布式等特点。在索引构建模块,利用word分词器结合招聘领域的单词词典对存储在HBase中的招聘数据进行分词,然后借助Lucene来构建倒排索引。在检索模块,通过学习研究Lucene全文检索时的评分机制以及Rocchio算法,对Lucene默认的排序结果进行了二次排序。使用Rocchio对原始结果集进行二次排序,使得二次排序的结果集较原始结果集有了更高的召回率,这也十分符合求职者需要获取尽量获取完整的招聘信息的目的。面向招聘领域的垂直搜索引擎对全网的招聘信息进行了整合,然后使用Lucene构建索引库,并且对Lucene原有的检索结果进行了优化,这对应聘者获取招聘信息带来了极大的便利,让应聘者能够更加专注于专业内容的复习和面试准备。最后对招聘领域的垂直搜索引擎进行系统测试,各个功能模块满足预先的需求设计。