目前病毒、木马、后门程序等恶意代码技术飞速发展,重大经济损失事件及重要泄密事件频频发生。传统的检测技术针对未知恶意代码的检测效果较差,因此针对二进制代码的行为深入分析,挖掘正常软件与恶意软件行为特征的细微区别正是目前网络安全的迫切需要。本文通过对目前互联网中出现的著名恶意代码(如:鬼影、机器狗、Darkshell等)进行深入调试分析及对比研究,发现恶意代码的行为特征;然后通过分析应用程序IAT结构、API Hook技术、差异性检测方法、通知例程检测方法等多种技术手段,研究针对恶意代码的自动分析方法,并选定API调用序列作为行为特征主要研究依据;在针对恶意代码进行分析的过程中往往会遇到Rootkit病毒,使得分析无法进行,因此分析了Rootkit木马的实现原理及检测手段,并针对IAT钩子、EAT钩子、IDT钩子及SSDT钩子进行重点论述;最后本文针对原始攻击树模型、改进攻击树模型、扩展攻击树模型等进行了分析比较,提出了基于赋权特征向量的改进攻击树模型,在此模型中利用赋权特征向量的概念将恶意行为进行分类。基于赋权特征向量的改进攻击树模型,设计并实现一种主动检测系统原型。该原型对恶意代码的行为特征进行数学建模,综合恶意代码的API调用序列,功能性行为特征、隐藏性行为特征、Rootkit行为特征等作为判别依据,并给出详细的分析报告及关键行为记录,方便对恶意代码的手动查杀及深入分析。实验表明,本方法能够有效地检测已知或未知的恶意代码,针对利用花指令、加壳、多态变形等反检测技术的恶意代码也能进行有效的检测,在恶意软件的主动识别方面有较大的应用价值。