基于Spark的闭合序列模式手机病毒挖掘系统的设计与实现

来源 :北京邮电大学 | 被引量 : 2次 | 上传用户:hy009009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络的发展和智能手机的普及,手机病毒日益增多,种类也更加丰富。手机病毒不仅破坏用户数据还盗取用户隐私,对用户造成了极大的伤害,如何有效地对手机病毒进行监测并防范成为了社会各界广泛关注的问题。由于病毒会造成手机用户的行为具有异常性,并且隐藏着一定的规律性,所以使用数据挖掘技术可以挖掘出具有代表性的手机病毒行为特征,从而能够准确且主动地检测出手机病毒。目前将数据挖掘技术应用到手机病毒挖掘中存在的问题有:(1)单机版的手机病毒挖掘系统在处理海量数据时运行效率低;(2)目前己有的应用在手机病毒挖掘中的技术大多没有考虑到病毒行为之间的时序关系;(3)大多数手机病毒挖掘系统功能单一,用户不能自主快捷地使用系统,也不能直观的对手机病毒挖掘结果和检测结果进行有效性分析。针对以上问题,本文重点研究基于分布式计算框架Spark的闭合序列模式挖掘技术,并在此基础上设计并实现了手机病毒挖掘系统。本文的主要工作为:(1)分析Spark框架的核心工作原理。并基于三台Ubuntu系统的计算机搭建了分布式的Hadoop集群和Spark集群;(2)分析单机版闭合序列模式挖掘算法CloTSP的实现原理。结合该算法和大数据处理量的特点,设计基于Spark平台的并行化闭合序列模式挖掘算法S-CloTSP,并使用Scala语言进行实现。通过实验验证了算法的有效性,并分析了并行化改进效果;(3)将并行化闭合序列模式挖掘算法S-CloTSP应用到手机病毒挖掘中,设计与实现了手机病毒挖掘系统。一方面,系统对具有时序性的病毒行为进行闭合序列模式挖掘,不仅考虑到了行为之间的时序关系,而且有效的解决了频繁序列集中含有大量冗余的问题,基于Spark的后台业务运算更使系统适用于海量的数据挖掘,提高了挖掘效率。另一方面,系统为用户提供可视化Web界面,用户通过简易的点击拖拽等操作便可自主挖掘潜在的手机病毒行为特征,并根据特征集对未知数据进行检测。系统将检测结果以丰富的图形进行迅速直观的表达,可以帮助用户快速的在数据中自主发现结论;(4)最后对系统进行了性能测试和功能测试,实验证明该系统具有有效性和可用性,在手机病毒挖掘领域具有重要价值。
其他文献
钛合金属于一种难加工材料,主要采用硬质合金刀具进行切削。钛合金微切削过程中刀具与工件材料间摩擦以及刀具磨损严重影响加工表面质量。通过改善刀-屑接触面之间的摩擦接触
目的探讨普通冻伤与高原冻伤伤口愈合过程中血液微循环恢复的差异。方法健康雄性SD大鼠24只,随机分为空白对照组、普通冻伤组和高原冻伤组,每组8只。普通冻伤组直接采用液氮
从工程的实际需要出发,对数控机床的振动测试的流程进行了探索,并以杭州机床某数控铣床为例,围绕机床整机振动测试实验,进行了详细的阐述与说明,并对实验数据进行了分析。
小学数学开放式课堂教学是指:以充分促进学生数学素质全面发展为宗旨,以创设良好的师生关系以及教学氛围为条件,以“问题解决”为主要学习形态,自主探索与合作交流作为学习的
RNA修饰是指发生在RNA上的各种修饰形式。自然界中的RNA修饰广泛存在于A、U、C、G四类核苷酸上,此外,极少的RNA修饰发生在次黄嘌呤核苷(I)上。目前已经在古细菌、细菌、病毒
针对目前各类负面思想传播多采用定性分析,未能揭示思想传播内在规律的问题,引入病毒传播理论与数学建模的方法,提出了负面思想传播的IHSRI (Ignorant-HiddenSpread-Removed-
本文基于自身多年的教学实践和小学阶段的数学教学特点,总结出开展开放式数学教学的基本要点。这对于改变传统的数学教育模式,培养小学生良好的数学思维,养成快乐学习的习惯具有
关键共性技术协同创新是解决企业低技术水平困境的出路,通过大力发展产学研协同创新可以实现关键共性技术的重点突破,从而赶超发达国家。但是由于关键共性技术创新本身就具有较高的复杂性和不确定性,再加上创新主体产学研之间异质性的存在,导致关键共性技术在协同创新实践中面临诸多问题。本文基于对关键共性技术创新主体异质性、嵌入性以及企业技术创新绩效等相关文献的梳理与研究,首先将关键共性技术创新主体异质性划分为知识
梳理了当前防空反导系统面临的威胁与挑战,分析了国外防空反导系统发展的最新动向,总结了下一代防空反导系统的发展趋势。
本文首先从园林建设总实行新工艺的重要性入手,对其施工新工艺的管理与技术难点进行详细的分析,旨在提高其园林施工整体的质量水平,促进园林工程健康顺利的发展。