随着Web应用的迅速发展,Web网站的安全也成为人们共同关注的焦点问题。提升网站安全风险等级的首要任务就是找到网站上存在的漏洞,防止不法分子利用Web漏洞攻击网站,造成网站信息泄露和财产损失。其中,全站扫描就是Web漏洞扫描最前沿的任务,它可以帮助我们了解网站的目录结构、接口等相关信息,进而方便确定网站的操作系统、中间件以及数据库等相关版本和类型,有利于从中发现网站漏洞、架构缺陷等安全问题。而网络爬虫是一种可以根据人们需求自动爬取网页数据的程序,我们可以采用爬虫技术对网站上的所有链接进行采集从而达到全站扫描的目的。本文设计了一种面向Web漏洞扫描的基于Chrome Headless的网络爬虫,采用Chrome Headless配合Puppeteer提供接口来控制爬虫功能,以实现对目标站点的全站爬取,尽可能多地获取子站点的URL,通过精准的去重和搜索算法,在节约资源消耗的前提下高效地完成爬取任务。其次,对于目标站点中的外部链接进行检测和屏蔽,防止爬虫进入公网或者外域进行爬取,避免安全访问纷争与带宽占用。对于Java Script站点,以事件为驱动,利用Chrome Headless页面所有JS进行模拟运行,在事件模拟过程中,对弹出的窗口链接、跳转链接、对加载完成后的页面进行分析和爬取,从而避免很多漏爬行为。本文的主要工作如下。1.研究Chrome Headless与Puppeteer接口控制爬虫爬取URL、完成对JS的模拟运行、模拟正常用户登陆动作。2.研究页面解析方法来获取链接,对采集到的链接进行同源处理和重构处理,方便分析网站的结构。3.研究搜索遍历算法,对漏爬、外链、重复爬取问题作以规避。4.针对采集到的URL进行漏洞检测,生成检测结果。通过实验测试,表明本文设计的爬虫可以高效爬取指定网站的全部链接,支持复杂站点的扫描,可以分析出网站的目录结构,并针对爬取的URL进行漏洞检测。对Web安全维护和Web漏洞扫描具有较高的实用价值。