过去的几十年中,Web信息技术飞速发展,Web网络已经成为人们生活中不可或缺的一部分。然而Web系统的广泛应用在给生活带来便利的同时,也带来了很多安全隐患。很多公司开发Web应用程序时不太重视该应用程序可能存在的安全风险。导致应用投入使用后,存在大量安全漏洞,给黑客留下大量可乘之机,时刻威胁着用户的上网安全。论文首先全面分析了目前Web应用安全状况,介绍了常见的Web安全漏洞。接着论文从输入参数覆盖率、爬取能力、认证覆盖率三个方面对国内外漏洞扫描器进行分析对比,提出为提高效率而改进的重点是扫描器的爬取速率以及支持身份认证网页信息的采集。在结合分布式系统的基础上,论文提出了分布式爬虫方法,将爬取节点分布在多台独立的主机上,使得整个爬虫系统具有通用爬虫所不具备的易扩展性和高效性。另外论文详细分析了分布式爬虫系统中存在的一些关键技术及其解决方案,包括URL任务分配、URL去重、DNS解析、基于身份认证的信息采集,使得整个爬虫系统在协调工作、负载均衡方面表现优秀。最后论文从扫描速率和身份认证两个方面对漏洞扫描器进行了测试,实验结果证明,论文中设计的基于分布式爬虫的漏洞扫描器能够提升扫描速率,并且可以采集需要身份认证的网页信息。