互联网时代彻底改变了我们的生活,从最开始的看报纸、看电视才能了解的新闻,而如今只需要打开手机便可知道所有信息,生活方式的改变,使得网络已经成为我们不可或缺的东西。但是现如今的网上资源越来越多,人们找到想要的信息获取愈发困难,所以一个合适的搜索引擎可以给我们带来很多方便。使用搜索引擎时,用户输入一些关键字进行搜索,搜索引擎就会返回给用户大量的跟这个关键字相关的信息,在这个搜索过程中,重中之重便是爬虫,爬虫可以快速准确的从网上获取到想要的信息。常见的搜索引擎就是使用了爬虫从互联网的海量数据中爬取出我们想用的信息,并且用最快的速度返回给用户。另外,股票信息现在是我们生活中最热门的词汇之一,现如今的股民也越来越多,证券公司现如今也可以网上开户了,大部分股民都想要获得大量的股票信息,但是每个股票网站都有一个自己独特的模块,用户想要获取信息就要去不同的网站。所以本系统把每个网站最具网站特色的文章爬取下来,让用户能更好的搜索出大量信息。主要的内容如下:首先,本文说明了垂直搜索引擎的定义、原理、以及垂直搜索引擎的特点,并且介绍网络爬虫工程中一些关键技术,解决爬虫问题的方法等,以及一些后续需要用到的技术等,比如分词技术、BM25算法。其次,本文主要使用Scrapy架构来进行爬虫开发,对于Scrapy架构解决不了的爬虫问题,本文会用作者所知道的最方便最易懂的方法来实现最复杂的动态界面爬虫,例如有Ajex动态加密等。自定义策略应对网站的反爬措施,通过Selenium和Chrome的开发者工具互补解决了爬取动态网页数据的问题;在想要制定位置的信息是,本文通过正则表达式、XPath选择器来过滤掉无用的信息。然后提出爬虫过程中遇到的问题,并且给出解决方案。接着,按照搜索引擎的开发流程详细描述本文是怎么实现搜索引擎最关键的索引和检索的,以及使用的分词和算法。最后,对本系统进行测试,例如测试分词、爬虫结果和搜索的结果等。