论文部分内容阅读
随着智能手机功能的增强,人们利用手机不仅可以发送邮件,浏览网页还可以网上支付,手机的部分功能已经逐步取代电脑。手机变成了我们日常生活中不可缺少的一部分,人们对手机的依赖性越来越强,手机安全问题也变得越来越重要。手机病毒数量不断增长,感染方式多种多样,使得安全防护难度越来越大,传统杀毒软件病毒库升级的方式已经不能满足要求。本文利用聚类挖掘算法,结合Spark分布式计算平台对病毒数据进行分析建模,提高手机病毒挖掘的效率。本文主要通过近邻传播聚类算法对手机病毒进行聚类分析,同时结合Spark分布式计算法平台,实现数据的分布式处理和增量处理。主要工作包括:1、通过调研分析聚类算法和分布式并行技术的应用现状以及手机病毒聚类挖掘中存在的一些问题,结合近邻传播聚类算法和大数据量处理的特点,设计并实现了基于Spark的分布式近邻传播聚类算法,改进算法的存储方式,通过分布式图处理框架Spark GraphX对数据进行并行化处理,适合大数量计算,提高挖掘效率;2、针对动态数据的聚类,实现了基于Spark的增量近邻传播聚类算法,通过将新增数据和初始建模数据进行比较,利用最近邻思想对新增数据进行赋值,同时对分布式图进行扩充,并迭代更新聚类模型,. 3、完成分布式手机病毒聚类挖掘子系统的架构设计,包括数据库设计,数据预处理以及建模模块和增量建模模块等,完成系统测试和算法的性能测试,经过实验对比,验证了两种算法在手机病毒挖掘中的可行性,相比于K-means算法能够提高聚类算法的准确率,并且能够更好的区分相似病毒。通过以上几方面的工作,设计并实现了基于Spark的手机病毒聚类挖掘子系统,能够对手机病毒数据进行并行化处理,不需要人工指定聚类个数和聚类中心,提高系统的灵活性和实效性,同时可以根据算法的特点结合其他聚类算法运用于不同的应用场景,为手机病毒数据的聚类挖掘提供新的解决方案,因此,本系统在手机病毒挖掘领域有重要的应用前景。