如今互联网迅速发展,互联网数据量爆炸式增长,数据形式和内容丰富多样。人们已经认识到海量数据背后巨大的商业价值和研究意义,同时海量的数据也给用户获取和挖掘信息带来一定的挑战,因此如何快速、有效地做数据采集以及从海量数据中抽取有效信息是一个迫切需要解决的问题。网络爬虫获取数据方便快捷,能够帮助我们高效的获取大规模数据,但面向中小型网站的网络爬虫系统往往具有一定的局限,例如单机性能抓取速率的太慢,稳定性有待提高,未能实现分布式抓取来提高速度;另一方面大多数成熟的爬虫程序都是尚未开放,需要付费才能够使用,因此对于爬虫系统深度定制的研究具有很重要的意义。基于上述问题,本文针对海量网页信息的获取及管理的问题,设计并实现一种基于Scrapy框架的轻量级分布式爬虫系统。本文在Scrapy框架基础上结合Redis和Elasticsearch搜索工作来对海量的网页信息进行存储和管理,克服了单机爬虫对数据管理的局限性。本文所做的工作主要有以下几点:(1)针对传统的内存去重策略,实现了基于Redis的布隆过滤器去重方法,将URL字符串表示成二进制向量,降低了字符串数据的空间占用率并且提高去除重复数据的效率,同时在多节点的情况下仍可以保证良好的去重效果。(2)针对异步加载的动态页面采用了模拟浏览器的加载方式,保证在多数情况下能够完整加载动态网页并获取网页的内容。(3)对Scrapy的框架的调度器,数据管道以及下载器等组件进行定制开发,使系统在分布式环境下完成数据地抓取和存储任务。(4)对抓取数据进行统计和分析。本文首先结合Elasticsearch将爬虫获取到的数据进行实时搜索,其次根据主题词统计结果生成词云分布图进行展示,最后提出数据质量优劣的评价指标并使用层次分析法确定评价准则的权重进行计算,得出数据评价结果。