随着互联网的飞速发展以及大数据的到来,各个领域充斥着大量的信息。如何检索出有用的信息成为了各领域的首要任务。因此,结合垂直搜索引擎技术开发出二手房的搜索引擎平台成为了该领域的亟需解决的问题。主题网络爬虫策略融合了网页采集、网页分块、主题相关度判定以及信息提取等技术。该策略在领域网页采集方面有着明显的优势,如具有很高的网络资源利用率以及信息采集的准确率。本文在考虑网页的相关度计算中,融合了链接所在的内容块与主题的相似度,通过对链接的相似度与网页内容的相似度的权重组合,来过滤与主题无关的网页,同时链接与主题相似度也能够降低爬虫服务对无关链接的访问量。本文结合全文检索框架Lucene、分布式爬虫框架以及HBase集群开发了一套二手房的垂直搜索引擎。该爬虫框架实时抓取国内多个二手房网站数据,目前已经抓取的网页库达到千万级的二手房数据,并存储到HBase集群,可用于数据分析以及挖掘等。该搜索引擎融合了同义词以及Rocchio相关反馈算法对原始查询的扩展,进而优化Lucene的默认查询,并提供了域查询以及模糊查询等多样化的功能。最后对二手房的垂直搜索引擎中的网络爬虫以及检索模块进行了功能测试,并与通用搜索引擎的检索效果进行对比实验,本系统的检索结果具有很高的准确率。同时也对扩展查询与域查询进行了测试,结果表明扩展查询具有更高的召回率。