随着智能手机携带越来越多的用户隐私信息,使其成为恶意应用攻击的主要目标。目前学术界针对恶意应用检测技术主要分为静态分析、动态分析和网络行为分析。静态分析,即分析恶意应用的静态代码识别应用的恶意性,但其不能检测未知的恶意应用;动态分析,即分析恶意应用运行过程中API调用等信息判别应用是否产生恶意行为,但其需要相对较高的检测成本;网络行为分析,即针对应用软件产生的网络流量分析网络交互行为的恶意性,虽然该方法可避免以上两种方法存在的缺点,但网络流量存在快速增长和不断变化的特点,为保障模型的检测性能,模型需要不断更新。目前网络行为分析的检测方法大多采用批量学习设置的机器学习算法,而这种方法更新模型需要消耗大量的时间、存储资源和执行内存,不适用于大规模在线恶意应用检测场景。为了解决大数据场景下基于网络行为分析的在线恶意应用检测问题,本文展开了以下研究工作:(1)针对在线恶意应用检测模型更新问题,本文提出了一种基于集成学习的检测方法,该方法的核心为双重集成策略。具体来说,第一层集成策略是多个分类器形成一个临时集成器,通过移除和添加分类器实现临时集成器的更新。第二层集成策略是多个临时集成器构成检测模型,通过移除和添加临时集成器进一步实现检测模型的更新。(2)针对在线恶意应用检测模型更新问题,本文提出了一种基于双层架构的检测方法,该方法的第一层通过一个初步分类来过滤出训练集中不能准确给出正确标签的样本,而第二层则通过第一层过滤出的样本来建立一个增强分类器。该方法通过基于增量学习技术实现模型的在线更新。(3)针对在线恶意应用检测问题,本文提出了一种深度神经网络提取规则的方法,该方法利用提取的规则检测恶意网络行为,从而提高在线检测效率。具体来说,首先为每个隐含层构造一个输入-隐含树表示深度神经网络输入与每个隐含层输出之间的规则。然后构造一个隐含-输出树表示各隐含层输出与深度神经网络输出之间的规则。最后,使用隐含层作为桥梁,将这些树合并成一个总的规则树。综上所述,本文针对基于网络行为分析的在线恶意应用模型更新和在线恶意应用检测问题提出了有效的解决方案,并通过实验证明了本文所提方法的有效性。本文的研究工作对推进在线恶意应用检测领域具有一定的理论意义和应用价值。