随着Web2.0时代的到来,Web技术高速发展,网站渐渐由原本的静态文档发展成为具有各种强大功能的动态页面。互联网用户可以通过网站轻松的完成很多业务。然而由于大量的个人信息暴露在互联网上,随之带来的安全问题也逐年增加,跨站脚本攻击就是众多安全问题中的一个。在OWASP 2015中国应用安全论坛会议中,跨站脚本攻击仍严重威胁着Web应用程序的安全。针对跨站脚本攻击带来的严重危害,国内外安全研究人员提出了包括黑盒测试和白盒测试的检测方法,使得这一问题的危害得到了一定程度上的缓解。但是随着Web技术的更新,Web支持的功能不断扩展,跨站脚本的攻击者不断的发现可以绕过安全监测过滤的方法。针对以上问题,论文提出一种基于爬虫技术的Web应用程序漏洞检测方法,改进爬虫爬取网页、解析页面的方法,并且研究了漏洞挖掘策略,从而解决了网页爬取的效率以及网页分析的性能问题,提高了对漏洞检测的检测率,降低了漏洞的漏报率和误报率,并对其做了实验分析,结果证明研究方案具有良好的性能和准确性。论文主要工作如下:(1)研究了系统漏洞的成因以及当前主要的漏洞挖掘技术,分析了跨站脚本攻击的主要手段、检测方法以及研究现状,同时对当前主要的开源爬虫框架也进行了深入的学习和借鉴(2)针对目前开源的的某些爬虫技术存在爬取效率低、网页分析能力差的缺点,通过对Scrapy框架的研究,分析了页面爬取以及解析的具体过程,研究了URL的搜索和相似性去重,设计和实现了基于Scrapy框架的爬虫Libra,解决了系统爬取页面的效率以及解析页面的性能问题。(3)针对目前的跨站脚本攻击检测方法存在攻击代码单一、存储在数据库中笨重等缺点,以基本跨站脚本攻击代码为基础,根据不同类型的攻击方式,按照挖掘策略对攻击代码进行变形,输出了更加全面的攻击代码,从而提高了跨站脚本攻击漏洞检测率,降低了漏报率和误报率。(4)实现了基于爬虫技术的Web应用程序漏洞检测方法,对该方法进行了测试,并对测试结果进行了分析。