当今世界信息技术高速发展,尤其是网络技术的应用已经实实在在的改变了人们的生活,在人们享受科技的利好的同时,也同时受到了信息安全的威胁。根据互联网应急中心2016年8月发布的数据来看,计算机病毒和系统漏洞都较上月有了明显的增加。国内外安全事件频发,给人们的生活带来很大的危害,恶意程序在这些安全事件中扮演着重要的作用,因此对恶意程序的检测工作也变得重要起来。恶意程序在运行的时候往往会做出一些危害系统的行为,这些异常行为致使系统进入一个异常的状态,将这些异常行为检测出来是检测恶意程序的关键。本文通过研究基于系统调用及参数的恶意行为特征,提出了一种基于恶意行为模型并利用机器学习分类算法的恶意行为检测系统。本文通过静态分析与动态分析相结合的方式分析了典型的几种恶意程序并建立恶意行为模型,然后利用机器学习算法将恶意程序分类,进而检测恶意程序。本文实现了基于软件行为模型的异常检测技术,并对比分析了实验结果,验证了系统的有效性。本文的工作主要体现在以下几点:(1)结合静态分析和动态分析方法对恶意程序进行了分析,进一步研究了恶意程序实施恶意行为的机制。(2)建立了恶意行为模型并使用支持向量机分类算法构建了一个多类分类器,利用该分类器可以将待检测程序分成病毒、木马、蠕虫、后门程序、正常程序几种,验证了这种方法的可行性。(3)通过选用合适的核函数并优化参数得到了准确度更高的分类器。(4)具体实现了基于恶意行为模型和支持向量机分类模型的异常行为检测系统,并通过实验验证了该系统的正确性。在分析阶段,本文通过静态分析和动态分析相结合的方法研究恶意程序的行为特征,相比于单纯的静态或者动态有着更好的效果,在检测阶段,通过检测系统调用有着更高的准确度,选取的核函数及参数构建的分类有较高的分类效果。