网络攻击事件的频繁发生和入侵手段的多样化,使得入侵检测系统(IDS)每天产生大量误报和冗余的告警信息,是网络安全管理工作的一大难题。研究者们发现通过对孤立的告警信息进行关联分析,可以还原攻击事件的发生过程,帮助管理员发现网络的薄弱环节。本文使用Spark集群和Hadoop生态圈的关键技术,完成了从数据的采集与存储,数据传输到计算和展示的完整架构,能有效应对告警数据海量化带来的问题。在此大数据处理架构上,本文运用告警关联方法对网络告警日志进行分析,设计并实现了基于大数据分析的攻击场景重建系统。本文重点研究因果关联方法和概率关联方法的算法流程,并在大数据平台上实现。对于因果关联方法,本文加入基于特征重叠的告警去冗余模块,可以有效去除海量告警日志中重复和冗余的信息。概率关联方法的核心是定义了IP地址、端口和告警类别等属性相似度计算函数,并定义各属性最小相似度期望值和权重,计算告警整体相似度。本文将整个攻击场景重建模型拆分成三个独立的模块予以处理,包括去冗余模块用于去除重复告警,聚合模块用于聚合同一攻击步骤产生的告警,关联模块用于将告警聚合的结果关联形成多步攻击场景。为了验证系统的有效性和实用性,本文使用天津理工大学IDS数据集和DARPA数据集进行实验,结果证明采用本文方法比PengNing的纯因果关联方法更能直观的展现网络攻击步骤,能大量减少IDS的重复告警信息,准确的聚合和关联相似告警信息,有效提高了IDS系统的可用性。