进入移动互联网时代,移动终端已经成为人们日常生活的必备工具。基于各移动操作系统开发的应用程序如雨后春笋般涌现,极大地丰富了我们的生活。但移动平台信息安全的研究相对于移动平台的发展明显滞缓,恶意应用充斥着第三方的应用市场,信息安全面临着严峻的威胁。在移动操作系统中,Android操作系统最受欢迎,也自然而然地成为了被攻击的对象,而恶意应用是重要的攻击途径。传统的恶意应用检测方法迫切需要技术提升以应对恶意应用的升级。为了解决这个问题,本文围绕“Android恶意应用”展开,研究静态检测分析、动态检测分析和基于机器学习技术的恶意应用检测方法,并取得了如下的成果:1)针对基于权限机制的粗粒度检测方法在恶意应用申请权限较少或者与良性应用申请权限相似时误报率高的问题,提出了基于细粒度权限特征的恶意应用检测方法。从Google定义的危险权限和20个Andro Mal Share从86798个恶意应用中总结的最频繁申请的权限中提取信息增益高的权限作为初选的特征,并对这些权限特征细粒度地分类,包括首次提出危险权限在组件中应用的细粒度特征,结合恶意应用其它多类行为一起作为机器学习分类算法的特征。这些特征有效地反映出恶意应用和良性应用在权限使用上的差异。实验结果证明提出的方法能够解决上述提出的问题,在保证准确率的同时能够检测出更多恶意应用家族的应用程序。2)针对现有基于Flow Droid的Android应用程序静态污点分析方法检测效率低、无法检测基于Intent机制组件间污点数据传递等问题,提出了跟踪污点数据在组件内和组件间传递的静态检测方法。首先检查应用程序是否满足污点数据泄露的基本条件;然后对应用程序以组件为单位进行逻辑拆分检测是否存在污点数据的泄露。在组件内污点数据传递检测结果的基础上,结合组件间联系方法（Inter-component Communication,ICC）的参数分析结果,分析应用程序是否存在组件间基于Intent机制的污点数据传递。同时,对含有自定义的Application类全局变量的组件进行逻辑连接,检测是否存在利用Application类全局变量的污点数据泄露。考虑到病毒自发性的特点并为进一步提高分析效率,结合应用程序的布局文件将符合用户意图的回调不纳入虚拟主函数。实验结果表明,该方法能够有效地检测出Android应用程序组件内、组件间污点数据的泄露,相比于同类工具能够检测更多的应用程序。3)针对现有动态污点分析系统不能跟踪污点数据通过Unix域套接字进行传递的问题,首次实现了针对基于Unix域套接字传输污点数据的动态污点跟踪方法。首先,对Unix域套接字在Android系统的应用进行了研究,并分析现有动态污点跟踪系统无法跟踪污点数据通过Unix域套接字进行传递的情况。在Taint Droid和NDroid的基础上对Android系统进行修改和扩展,实现污点数据基于Unix域套接字信息流的跟踪。将3个基于不同类型的Unix域套接字进行污点数据传递并泄露的概念验证应用程序分别运行于Taint Droid、NDroid和本章修改后的系统JDroid。实验结果证明只有JDroid可以有效地跟踪污点数据通过Unix域套接字进行传递,弥补了现有动态污点跟踪系统的不足。4)针对高维特征降低机器学习效率、维度与检测准确率相互制约的问题,提出采用关联规则FP-Growth算法构建机器学习分类算法的特征全集,Relief算法、离散二进制粒子群优化算法和信息增益法协同选择指定数目特征子集的方法。首先分别从25类恶意应用家族和10类不同类型良性应用中提取调用的应用程序编程接口（Application Programming Interface,API）作为特征,使用FP-Growth算法分别获取恶意应用和良性应用的API函数极大频繁项集并合并作为特征全集,然后使用Relief算法剔除对分类无关的特征,再使用离散二进制粒子群优化算法剔除冗余特征,结合信息增益法选择指定数目的特征子集。实验结果表明,使用关联规则提取的API特征比随机提取的API特征更具有针对性;Relief算法、离散二进制粒子群优化算法和信息增益法协同筛选的特征子集提高了机器学习分类器的性能。综上所述,本文研究的重点是采用静态分析检测技术、动态分析检测技术和基于机器学习的方法去研究Android恶意应用的检测。实验结果表明,本文所提的Android恶意应用检测方法进一步提高了恶意应用的检测水平,具有现实意义。