随着互联网技术的快速发展,网络应用平台逐渐成为信息交互的主要渠道,人们的生活服务呈现出网络化和信息化的特点。网络给人们的生活带来便利的同时,也伴随着各种各样的数据安全问题,保障Web应用的安全,及时发现并修复漏洞已变得越来越重要。Web应用漏洞检测的本质是站在攻击者的角度审视Web应用程序的安全性,本文作者在研究和分析网络爬虫技术、漏洞攻击原理的基础上,比对现有漏洞检测工具,针对目前漏洞检测存在的不足进行改进,以提高漏洞检测的准确率及效率。本文的主要工作如下:针对网站对爬虫的限制,为了解决爬虫在模拟登录时遇到的复杂验证码解析问题,本文采用Cookie方式模拟用户登录,通过设置相关请求头,绕过网站的反爬虫机制,突破网站对爬虫的限制,提高爬取效率。针对爬虫爬取到的URL存在相似数据的问题,提出一种基于树结构特征的HASH去重算法HDTSF,依据URL的结构特征,将URL数据以深度为2进行分组得到子路径,然后对相同子路径内的URL数据进行相似去重处理;同时对HDTSF去重算法、编辑距离算法和余弦相似度算法进行对比测试,结果表明HDTSF相似去重算法能有效提高爬虫的工作效率。设计并实现了基于改进爬虫技术的Web注入漏洞检测程序Icrawler-scan,主要包含URL爬取模块、SQL注入漏洞检测模块、XSS漏洞检测模块和检测结果报告模块;并对Icrawler-scan进行了功能测试和性能测试,测试结果表明Icrawler-scan程序具有良好的漏洞检测效果。