随着互联网应用的发展,爬虫技术越来越普及,恶意的或设计实现较差的爬虫,产生大量占用服务器资源、泄露隐私数据等负面问题。反爬虫成为网站管理者的一项重要课题,开发反爬虫系统具有十分重要的作用和意义。本文首先介绍了该系统的项目背景,对爬虫特征和当前爬虫检测技术研究现状进行调研,选用基于特征分析的检测技术检测爬虫,综述了消息总线架构模式、Spring MVC框架、Storm框架和布隆过滤器等技术。本文阐述了反爬虫系统的工作原理,介绍了项目总体规划,确定系统边界,详细分析了系统的功能性需求、非功能性需求和主要处理流程。在此基础上,设计了系统总体结构,划分了功能模块,明确了系统包之间的逻辑关系,确定模块之间的交互流程,给出了系统的部署设计、系统数据的E-R关系,设计了数据库表,分别对消息总线、拦截处理、后台管理和实时计算等模块进行了分析设计,并给出这些模块的具体实现细节和实现结果。该系统根据爬虫的特征,能实时准确地检测爬虫,区分来自正常搜索引擎的爬虫与恶意爬虫,并拦截恶意爬虫。另外该系统采取包括惩罚在内的措施,加速爬虫的识别,提供Web管理页面供网站管理员设置黑白名单,配置拦截规则和计算规则,展示拦截记录的统计信息等。目前该反爬虫系统已在大众点评得到实际的应用,日均拦截量达到千万级,为企业节约了大量服务器资源,保护了企业数据安全。