随着信息技术的飞速发展,互联网上的信息数量出现了爆炸式的增长。如何从海量数据中提取并利用有用信息成为一大挑战。网络爬虫的出现有效地解决了这一问题,它可以按照人们设计的规则,凭借计算机的强大处理能力,快速地获取并提炼出有价值的数据。相对于人工获取信息的方式,网络爬虫获取信息的方式具有更高的效率。本项目通过爬虫获取网络资源,使用分布式数据库系统存储爬虫获取的海量数据,完成对数据的分析和处理,进而生成排行榜,并通过榜单页面进行展示。基于以上规划,本文设计和实现了基于分布式爬虫的排行榜展示系统。该系统已上线运行,取得了预期效果。本文主要工作有以下四个方面:首先,基于分布式结构,设计网络爬虫,可以实现即时爬取、基于模板的爬取、基于配置的爬取、增量爬取、随时增减机器数量、随时启停,并且去重率可以达到100%。其次,使用分布式数据库中间件,实现了具有易维护、高可用、易扩展、高速读写等优点的分布式数据库系统,满足了爬虫结果存储和排行榜数据存储两个主要需求。再次,通过对数据的分析和处理,提出排行榜打分算法。根据打分算法产生的排行榜榜单能够获得一个客观的结果。最后,采用MVC设计模式和Spring开发框架,实现相关业务逻辑,设计排行榜web系统,满足系统需求。