随着移动互联网的快速发展,智能终端在人们的日常生活中起着越来越重要的作用,其中基于Android平台的智能终端占据了全世界80%以上的市场。与此同时,由于Android平台的开放特性,使得运行在该平台上的恶意软件数量呈现快速增长势头。因此,Android系统恶意软件检测技术成为了安全研究人员的重要课题,恶意软件动态检测技术则是其中非常重要的一个方法。除此之外,机器学习理论已在多个领域得到广泛的应用,使得利用机器学习实现恶意软件检测技术领域已成为一种必然的趋势。鉴于此,本文基于机器学习理论,对Android智能终端中的恶意软件动态检测技术进行了深入研究,其主要工作内容包括:1.针对目前恶意软件检测准确率和执行效率低的缺陷,提出了一种基于系统调用(System Calls,SC)的恶意软件动态检测框架。该框架以系统调用为特征,为解决特征数量过多的问题,提出了特征降维的方法;针对特征冗余量过多的问题,提出了标签化系统调用与处理冗余信息的方案。最后将特征构建为马尔可夫矩阵,并使用支持向量机(Support Vector Machine,SVM)对其进行训练,进而实现恶意软件检测。实验结果表明,所提出的恶意软件动态检测框架在大幅度降低传统恶意应用检测复杂度的同时,还能保持较高的检测准确率。2.针对恶意软件家族种类繁多、同一恶意软件家族的软件行为特征具有相似性的特点,提出了一种基于Canopy权重K-Means(Canopy weight K-means,CWKM)算法的恶意软件家族聚类系统。在该系统中,首先设计出用于挖掘恶意软件隐藏行为的行为触发器,从而利用Hook提取软件的API;然后提出一种有效的日志处理方法,在此基础上,构建软件样本的序列码表;最后利用CWKM算法实现对恶意软件家族进行聚类。实验仿真表明,该系统可有效地实现恶意软件的家族聚类且聚类效果显著。