随着互联网技术的不断发展,新型的安全漏洞不断涌现,利用安全漏洞进行传播的新型恶意应用也层出不穷，它们已经成为信息安全领域重要的研究问题。采用传统的漏洞挖掘方法和恶意应用检测方法已经难以应付当今的网络安全形势。为了解决这个问题，本文围绕“安全漏洞和恶意应用”展开，致力于研究新的网络协议漏洞挖掘方法和基于数据挖掘技术的未知恶意应用的检测方法，并取得了如下成果：1.以IKE网络协议为例，提出一种基于模糊测试技术的网络协议漏洞挖掘方法，该方法可以应用到各种硬件设备、Windows平台下的软件产品和Unix平台下的软件产品。通过对网络协议数据包进行格式分析和对历史出现过的漏洞进行分析，总结出最全面的漏洞脆弱点，并设计自动化的测试用例生成方法有针对性地构造半有效数据。最后实现自动化的监控器和调试器，提供针对硬件设备的监控器，针对Windows平台下的软件产品和Unix平台下的软件产品的不同的调试器。根据该方法实现了一款网络协议漏洞挖掘工具IKEProFuzzer。实验证明，IKEProFuzzer发现了5个未知漏洞和9个已知漏洞，并且消耗较短的时间和资源。2.以Android系统为目标，首次将频繁模式挖掘算法应用到智能手机的恶意应用检测，设计并实现了权限频繁模式挖掘算法PApriori。挖掘出49个恶意应用家族申请的权限的关联性，为避免用户过度授权和为用户提供安全抉择作出了贡献。通过匹配权限关系特征库来实现Android未知恶意应用检测。通过实验评估提出方法的有效性和正确性。并为进一步应用频繁模式挖掘算法进行其他行为特征恶意应用检测提供了启发性思考。3.以Android系统为目标，提出一种基于多类特征的恶意应用检测方法。采用动静态结合的行为特征提取方法，提取了应用程序的多类行为特征，充分反映了应用程序行为，并且该方法具有可扩展性，可以加入更多类型特征进行检测。首次提出了一种三层混合系综算法THEA（Triple Hybrid EnsembleAlgorithm），对各类特征分别选取最优的基础分类算法从而给出综合判决结果。根据该方法实现了自动化的Android应用的恶意代码检测系统Androdect，通过对大量现实中的Android应用进行检测，验证了该算法的有效性。4.基于以上两个研究工作，提出一种快速的两阶段的Android恶意应用检测方法。第一阶段（过滤阶段），使用PApriori算法构建权限关系特征库，并从大量应用程序中快速过滤出可疑恶意应用。第二阶段（分类阶段），使用THEA算法分类恶意应用和非恶意应用。根据该方法实现了自动化的检测系统AndroMalDet，使用该工具对12,496个恶意应用进行检测。实验结果证明了AndroMalDet可以实现快速有效的处理大量应用程序，可以同时评估Android系统的多类行为特征。并且与其他工具对比，具有更好地可扩展性、有效性和准确率。