随着互联网应用的不断普及,在大规模复杂的网络会话中,各类攻击手段层出不穷,而传统入侵检测系统通常给出的告警是原始且孤立的,难以得出攻击之间可能存在的某些联系,显然已经不能满足我们对网络环境安全性能的要求。近年来随着机器学习方法及深度学习技术的发展,使得网络安全管理在现有网络入侵检测及处理方面引入了更为有效的响应机制,因此本文主要做了如下工作:1)针对传统检测算法对单步攻击识别率较低且易产生误警的问题,本文提出了基于机器学习的梯度提升树(GBDT)集成检测算法。以决策树作为集成算法的基学习器,对单步攻击进行检测识别,该算法对传统检测算法泛化能力进行极大提升,在训练集样本有限的条件下,能够保证测试集相对独立。实验对比分析了 GBDT与经典机器学习算法及KDDCup99获胜者检测率的结果,验证了集成算法在单步攻击识别中的可行性。2)针对基于机器学习的集成算法对单步攻击识别中,由于样本中攻击类别数量的差距造成的稀有攻击检测识别率较低,且告警设备产生大量低级告警对检测系统效率的影响问题。本文在告警信息融合的基础上提出基于预定义规则与基于属性相似度的综合关联模型,解决了稀有攻击识别率低及弥补单一规则关联知识库不完善或持续攻击造成某些告警场景的分裂。实验验证了在规则关联的基础上进行统计意义上的告警相似度关联,可以弥补预定义规则关联因规则库不完善或IDS误报导致的关联结果不完整,同时可以基于攻击意图有步骤逻辑地将攻击过程和目标所对应的场景呈现出来。3)针对告警关联规则挖掘中传统挖掘Apriori算法对相同的项目重复比较的太多,有些事务被多次扫描造成系统资源的浪费且对检测系统时效产生较大影响,因此本为提出对Apriori算法的改进算法W-Apriori,利用层次分析法对数据集事务项进行加权规则关联,解决了在较小支持度下大数据集中的规则挖掘时效问题。实验验证了改进算法在不同支持度阈值及数据规模下W-Apriori算法的性能指标。