自从上世纪80年代Morris蠕虫出现以来,计算机安全已成为学术界和业界的热门领域之一。无论作为攻击还是防御,恶意代码都是该领域发展迅速的一个分支。网络的迅速发展与软硬件的同构化降低了攻击难度,作为计算机攻击的主要形式之一,恶意代码给互联网和用户带来了严重威胁,造成了巨大损失,使得安全愈来愈受人们重视,但也面临前诸多挑战。然而当前恶意代码的检测手段相对单一、缺乏深度,难以检测遏制层出不穷和经过复杂变形的攻击,高误报率和漏报率严重制约了检测系统的广泛使用,同时传统防御体系难以应对大规模爆发的攻击。主机型恶意代码以木马为典型代表,以窃取用户敏感信息为目的,为目前所占比例最高的恶意代码;蠕虫是网络型恶意代码的代表,具有分布式特点、威胁大,易引起后续攻击,因此它们都值得研究和关注。本文综述了恶意代码相关原理、关键技术和检测方法,以特洛伊木马、病毒和蠕虫为研究背景,从检测和遏制角度出发,取得了以下三个方面的成果:1.针对木马/rootkit,研究并实现了基于虚拟环境的行为分析检测系统。行为主要包括影响操作系统的安全行为,并利用数据挖掘算法对未知程序的合法性进行判断。虚拟的行为采集环境大大减小了恶意代码给主机带来的破坏,对用户影响小。实验结果表明,该同类系统相比,我们的系统能较准确的检测出未知木马/rootkit。2.病毒的编写技术已经被蠕虫大量使用,经过高强度变形的蠕虫攻击越来越普遍。而作为目前对抗蠕虫的主要技术,人工方式为主的特征码提取耗时长、误报率高。本文研究设计了一种准确高效的蠕虫特征码提取技术,它能有效对抗变形攻击,并首次将此技术应用于病毒和木马。它采用变形引擎产生副本,无需多个原始样本,实验结果表明能在较短时间内提取出高质量的特征码,误报率、漏报率均较低,实验同时给出了它们的定量分析。3.为了快速遏制恶意代码的大规模爆发,提出一种新型分布式恶意代码检测响应框架。该框架融合了基于行为分析的异常检测和特征码的误用检测机制,且具有良好扩展性;因此它不仅能检测已知恶意代码,而且能检测未知恶意代码。设计并实现了其原型系统。该系统较大程度地减小了人工干预,能迅速、自动化地对恶意代码作出响应与遏制,是对遏制恶意代码大规模爆发的有益尝试。