随着网络技术的不断发展,用户对信息安全的需求越来越高。在信息安全方面,已经取得了大量的理论和技术研究成果,这些成果被广泛应用到杀毒软件、防火墙等产品中,同时用户的安全意识和警惕性也有了很大提高,但是与此矛盾的是整体的信息安全状况却没有明显改善,病毒、木马和蠕虫的爆发波及的范围还是很大,影响的机器也还是很多。究其原因,漏洞是这些安全事件最主要的源头。漏洞的研究包括漏洞挖掘、漏洞分析和漏洞利用三个部分,其中漏洞挖掘是整个流程的基础,也是最关键的技术,不管是软件发布者还是攻击者都对它非常感兴趣。漏洞挖掘的研究工作已经有了一些成果,对于拥有源码的程序可以通过进行代码审计检测其中是否存在漏洞,而没有源码的程序则一般通过Fuzz测试来挖掘漏洞。这些方法取得了一定效果,但是对于越来越多源码不公开的网络软件来说,漏洞挖掘的效率一直不高,因为Fuzz测试的测试用例命中率不高、针对性不强且代码覆盖率低。本文首先分析了传统漏洞挖掘技术的理论和实现,发现其存在命中率低、挖掘不深入的缺点,这个缺点是由于不知道软件通信数据格式定义和报文交互流程而过于随机地构造畸形测试用例导致的。在此基础上,本文研究了协议分析技术,其特点是能通过截获网络程序通信数据包并分析其数据格式和通信流程得到对未知协议定义的一些规则。通过有机整合这两种技术,本文提出了基于协议分析的漏洞挖掘技术。本文设计了一个基于协议分析的漏洞挖掘系统,具体描述了其组织架构和主要功能模块,并给出了此系统原型的一个实现。通过它对一款数据库软件的协议和一个网络远程控制程序的协议进行分析并挖掘漏洞,证明了此系统的可用性和效率。本文的创新点是提出将协议分析技术与漏洞挖掘技术联合起来,把协议分析的结果用于漏洞挖掘的测试用例构造过程和Fuzz测试过程中,从而有效地提高了漏洞挖掘的效率。