针对现今APT攻击中重要的远程控制木马手段,本文提出了一种主动防御思路,即针对不公开源代码和网络协议的远控木马程序进行漏洞挖掘和瘫痪攻击。我们通过深入分析Gh0st和Poison Ivy等著名远控木马的通信协议,掌握了远控木马网络协议的一般通信原理和协议格式,从而研究设计出了一套针对远控木马未知网络协议进行逆向分析的算法,并最终结合成熟的Fuzz测试框架对远控木马的控制端代码进行漏洞挖掘,继而实施主动攻击。本文首先使用广义后缀树和分层次聚类等数据挖掘的算法来逆向分析远控木马网络协议的特征,自动构造其协议格式。接着通过Angluin算法展开状态机学习器与远控木马的网络通信进行交互,在学习过程中不断发现远控木马协议状态机中新的状态,从而获取木马的网络协议状态机。然后在此基础上,再和Peach这款成熟的Fuzz测试框架结合起来,导入之前逆向分析出来的协议格式与协议状态机来自动生成Fuzz的配置文件,通过引入协议格式与状态模型的元素来收敛样本的生成,从而较大程度避免了Fuzz过程中生成的畸形数据过于庞大和泛化的缺陷,提高了模糊测试和漏洞挖掘的效率。最后经过一系列针对实际远控木马程序的测试,成功地发现了若干款远控木马控制端的远程溢出漏洞,使其出现程序崩溃的现象,无法正常提供控制功能,从而充分说明了本文所提出的这种基于网络协议逆向分析的远控木马漏洞挖掘是新颖且行之有效的。