论文部分内容阅读
近年来,科学技术迅猛发展,信息技术已经渗入社会、经济、生活等各个领域,但信息技术是一把双刃剑,一方面它的便捷性和全球性对经济的发展起到有力的推动作用,另一方面,其自身的缺陷也带来了一系列的安全问题。网络安全的研究一直是随着网络技术与应用的发展而进步的,两者在长期的博弈中开创了互联网现今繁荣的局面。
网络安全重在管理,网络流量监控是网络安全管理的主要方式之一,大部分的网络安全事件都可以通过对网络流量的监控来发现。目前,流量异常监测研究主要是针对中小规模网络(如校园网、企业网等),这方面的技术较为成熟。但是不难发现,当前的一些大规模网络攻击行为主要是发生在骨干网上,而且这些攻击行为具有传播快、感染性强、破坏性大等特点,仅对低端网络进行监控显然不足以发现问题,因此有必要在骨干网中进行监控,以便及时发现攻击行为。
骨干网中的数据有海量无限性、不可再现性等特点,以高速率、低延迟源源不断地到达,而系统的计算和存储资源都是有限的,因此,如何利用有限的资源在海量的数据中准确定位攻击行为,是网络安全研究所面临的新挑战。
本文主要研究内容如下:
(1)频繁项挖掘问题是数据挖掘领域的一个热点问题。本文提出了一个新的带权值数据流频繁项挖掘算法WEC,算法的空间复杂度为O(ε-1),单个数据项的最坏处理时间为O(logε-1),其中ε为给定的误差度。通过实际互联网数据的实验表明,WEC算法有较高的吞吐量,并且频繁项估计值的平均相对误差范围更小。
(2)多核技术的发展给数据处理提供了新思路,如何将算法并行化使其得以充分挖掘多核的计算潜能成为新的研究热点。本文在PRIM的架构上研究了WEC算法的并行化问题。PRIM采用数据分解的方法,对各本地线程中的数据流分别进行分析,只有出现超过设定阈值的频繁项时才将其发送给汇聚线程,这样做大大地降低了汇聚带来的开销。WEC算法是同类算法中误差范围最小的,本文结合了PRIM模型和WEC算法的优点,提出了基于PRIM架构的WEC并行算法。实证表明:该并行算法有很好的加速比,而且具有很高的精度和更小的误差范围。