论文部分内容阅读
近年来,随着互联网技术的快速发展,网络信息数据呈爆发式增长。与此同时,针对企业及个人网络信息的黑客活动、网络入侵也越来越频繁,从而导致网络安全事件激增。在检测这些网络安全事件的过程中,入侵检测系统(IDS)会产生大量独立的、原始的告警信息,这些告警信息除了具有海量的特点外,同时零星杂乱难以管理,因此网络安全管理员很难从中发现入侵者的攻击过程并挖掘出安全事件。为了解决以上问题,应对告警数据海量化趋势以及原始告警数据孤立难以发现高层次入侵意图的难题,本文对基于云计算平台的网络安全入侵场景重建技术进行了研究,即对因果关联分析方法的并行化研究。本文设计并实现了基于云计算的入侵场景重建系统,同时作为对该系统实时性方面的补充,研究了流计算模型并实现了基于流计算的入侵场景重建系统。首先,本文在MapReduce编程模型下并行化设计因果关联分析方法,并增加告警融合预处理模块,消除海量告警信息中的重复冗余信息。同时使用云计算Hadoop平台搭建了集群,利用集群带来的计算能力来应对海量告警给关联分析带来的困难,最终实现基于云计算下的入侵场景重建系统。其次,为了满足可能的告警分析的实时性要求,本文分析了实时性流数据处理平台Twitter Storm,然后根据流计算的特点,重新设计并简单实现了基于流计算的入侵场景重建系统,为实时性的告警关联分析提供了可行性的思路。最后,在真实入侵告警数据集上进行实验和对比分析,结果表明,本文设计实现的基于云计算的入侵场景重建方法是可行的,并且具有一定的优越性。该方法一方面通过对告警信息的并行化关联分析,降低了关联分析的复杂度;另一方面挖掘分析出了告警之间的关联关系,能有效地避免告警关联疏漏。同时,通过对基于云计算的入侵场景重建系统在Hadoop集群下运行规模和效率关系的说明,验证了其对海量告警数据的支持。