随着信息技术的快速发展,网络成为了人们工作生活中不可或缺一部分,浏览器作为网络的重要入口,其安全问题也显得愈发重要。各大厂商为其推出的浏览器产品设计了多种安全方案,使得浏览器的安全性越来越高。但为了支持更多的功能特性,浏览器同时提供第三方插件的支持,这是浏览器存在的重大安全缺陷之一。因为第三方厂商或个人开发的插件质量不能得到与浏览器同级别的安全性保证,这就使得插件成为了浏览器安全中最薄弱的部分之一。根据浏览器的不同,插件安全的研究内容也不尽相同。本文聚焦在三大主流浏览器之一的Internet Explorer浏览器ActiveX插件的安全缺陷检测技术上,发现目前国内外主流的ActiveX插件漏洞挖掘工具存在Fuzz策略盲目、变异算法效率低下等不足。本文主要研究一种基于边界逆向的浏览器ActiveX插件安全缺陷检测技术。为了解决插件不开源情况下的函数信息获取问题,提出了一种基于注册表的ActiveX插件信息获取技术。为了解决现有工具只能进行盲目Fuzz的缺陷,提出了一种基于控制流图和静态汇编代码分析的智能逆向模型,通过模型提取的函数边界特征值针对性引导测试用例的变异方向。最后提出了一种基于函数边界特征值的变异算法,与随机变异算法相比,极大程度提高了变异算法的有效性。在理论研究的基础上,本文设计并实现了拥有信息获取模块、智能逆向模块、边界识别模块、模糊测试模块的漏洞挖掘原型框架XFuzzer,并用于实际的漏洞挖掘项目中,发现多个ActiveX插件漏洞,取得了很好的效果。