随着校园数字化的快速发展,互联网上的校园信息量也日益增加,为用户检索相关校园信息增加了难度。目前校园师生用户大多数都是利用学校网站内搜索功能来查询需求的信息。但是普通搜索引擎包含的信息类别包罗万象,涉及领域范围十分宽泛,难以进行主题搜索,并且部分校园网站是在局域网内使用,部分校园信息无法被普通搜索引擎收录。针对以上问题,本文以校园网站为研究对象,根据其结构层次分明的特点,设计基于Scrapy的校园垂直搜索引擎,该搜索引擎由三个重要功能模块构成:页面下载、索引检索以及搜索查询,为校园师生用户提供方便快捷的专业搜索服务,促进发展数字化校园的建设。本文研究工作包括:(1)基于Scrapy框架开发个性化网络爬虫程序,分析了Scrapy本身的删除重复链接方法,面对进行大规模网站信息抓取的任务时会耗费大量的内存的情况,采取将布隆过滤器应用到Scrapy框架来提高爬虫程序的删除重复链接能力。然后结合从实际应用中总结的经验,针对爬虫程序由于频繁访问目标网站而被网站服务器禁止访问的现象,提出了相应解决方案。(2)改进PageRank算法提高检索结果的排序质量。分别对PageRank与HITS进行研究以及分析,由于PageRank具有计算效率更高与计算数据量更大的特点,所以本文采用PageRank作为排序算法。并针对PageRank排序结果存在偏向原页面、平均划分权重值以及主题漂移等不足之处,添加时间影响因素,来提高页面评分;添加权重值影响因素,改进出链网页的权重值;添加主题相关度影响因素,减少检索结果“主题漂移”的现象。(3)使用Whoosh检索库建立索引,在索引检索模块引入Jieba分词器提高分词能力,使用Flask设计搜索引擎的搜索查询模块。用户通过搜索查询,能快速得到主题相关度较高的检索结果。(4)最后系统测试分析。通过测试将布隆过滤器应用于Scrapy爬虫程序上,验证使用布隆过滤器大幅度减少程序运行时所占用的内存空间;通过测试改进的PageRank算法,验证使用PageRank算法可以优化检索结果的排序质量。