随着互联网Web爬虫流量的增长以及恶意Web爬虫行为的日益复杂化,为保障网站应用的安全,Web爬虫的检测及其类型的辨识十分必要。现有的Web爬虫检测方法大多针对结构复杂度较高的网站,而高校政府等机构需要对外提供上百个网站服务,具有单个网站功能单一、结构简单的特点,应用传统Web爬虫检测方法存在遍历模式差异过小、会话内访问内容区分度过低的局限性。针对上述问题,本文从机构提供的网站服务分为多种职能类型的角度出发,不依赖于分析网站结构,而是结合用户在多种类型网站间访问行为的连续性、波动性等规律的分析,提出一种基于访问行为的Web爬虫检测方法,并在此基础上设计和实现了 Web爬虫检测系统。本课题的主要工作包含两个方面:首先,提出一种基于多网站访问行为特征的Web爬虫检测方法,通过引入多网站风险度、多网站访问次数波动性、多网站访问流量波动性等参数刻画Web爬虫行为特征。然后设计基于规则的K-means层次化检测方法,将样本集划分为正常用户集与爬虫集,进一步,基于划分的爬虫集,采用CART分类算法对爬虫类别进行分类检测。其次,基于所提方法,本文设计并实现了基于访问行为的Web爬虫检测系统,包括数据层、特征提取层、爬虫检测层和展示层四部分。该系统通过用户上传的访问日志发现Web爬虫和对Web爬虫进行分类,同时能够利用上传的标记数据对检测结果进行评估和优化。实验结果表明,本文所提出检测方法的准确率达到97.35%,具有较好的Web爬虫检测效果。