随着计算机网络技术的迅速发展以及计算机互联网在人们工作生活中的广泛应用，互联网环境下大量的恶意软件已成为危害社会正常运行和人们的隐私安全的重要威胁之一。在恶意软件分析研究领域，运用机器学习和数据挖掘算法对获取的恶意软件运行时行为特征的分析方法越来越受到安全研究人员的重视。目前，这类分析方法普遍是基于用户模式下的恶意软件行为进行分析。用户模式下的行为监测技术所处系统层级较高，当恶意软件有低层级行为，如加载驱动、调用内核函数等时，监测程序无法对其进行捕获，从而影响分析的准确度。　　针对此问题，本文对基于机器学习和数据挖掘算法分析恶意软件运行时行为的分析方法进行研究，提出并实现了基于内核级监测和聚类算法的恶意软件分析方法。本文主要完成工作如下:　　(1).调研了当前的恶意软件分析技术，比较各类分析技术的优劣。提出了基于内核级监测和聚类算法的恶意软件分析方法。　　(2).在系统内核层面研究恶意软件行为监测方法，设计并实现对恶意软件的深度监测系统。　　(3).研究恶意软件内核行为的提取方法，提出了恶意软件行为表示模型，设计了内核函数映射表，实现恶意软件内核行为提取和提取的内核行为的编码化表示。　　(4).基于分层聚类算法，实现对恶意软件集的家族聚类。并设计了对比实验，比较基于用户模式行为和基于内核行为的聚类方法所获取的聚类效果。　　实验结果表明，本文设计的基于内核级监测和聚类算法的恶意软件分析方法可对恶意软件样本集做自动化分析，获取恶意软件内核函数调用序列，提取内核行为进行聚类。且基于内核行为的聚类方法获取的分析结果明显优于基于用户行为的方法所获取的分析结果。