近年来,随着计算机网络和信息系统的飞速发展,攻击技术发生了巨大的变化,包括社工攻击、工控攻击和智能硬件攻击等,其中最具有代表性的是APT (高级持续性威胁)攻击技术。鉴于此,本文将在APT攻击中的安全检测和威胁评估两个方向上展开研究,在当前安全防护技术领域具有显著的现实意义。当前新型APT攻击对现有的安全防护系统提出了三大显著难题和严峻挑战。第一,如何高效利用攻击知识库。攻击知识库中存在大量的关联关系且攻击知识呈图谱化,然而现有的检测优化技术尚未形成较好的并行化方案,难以在实时检测中应用攻击知识图谱。第二,如何高效检测未知攻击。目前,针对未知攻击的检测,学术界和工业界展开了广泛的探讨和研究,其中具有代表性的方向是根据自身业务特性进行异常检测。传统的规则检测技术难以应对未知攻击已成为不争的事实,因此越来越多的防护系统致力基于自身业务,根据流量特性和行为特征构建符合业务场景的异常检测系统,使得异常检测能够在发现未知威胁和降低误报中找到最佳平衡。第三,如何准确评估APT多步骤攻击的威胁。APT攻击多数呈现为多步骤的攻击,并善于利用资产之间的关联关系进行渗透突破,而现有的威胁评估技术通常基于攻击模板和固化的指标体系对当前的网络态势进行评估,并未完整运用资产和脆弱性之间的关联性,更难以应对多步骤攻击的评估与预测难题。因此,本文针对上述三个难题,分别提出大规模攻击知识图谱的高速处理框架和基于访问行为的建模和异常检测技术,同时提出结合攻击依赖性和资产关联性的威胁评估方法。具体而言,本文的主要研究成果包括:(1)基于攻击图的大规模告警关联分析。首先,针对现有基于攻击图的关联分析方法在图关联完整性和并行性上的缺陷,本文提出了一种基于攻击图的并行告警关联框架及其实现方法。该框架通过综合分析攻击图中的级联前后件的关联关系,提出了基于攻击意图传播的分析方法;该方法将关联过程分解成消息在不同方向上的传递,能够根据多来源关联消息推断下一步攻击动作,增强告警分析的关联预测能力并减少关联预测带来的误报告警的数量。其次,本文还提出了基于攻击图的并行告警处理框架AG-PAP。该框架将映射过程和告警分析并行化,形成完整的基于攻击图的告警处理流程,解决了在以往在基于攻击路径的关联分析中,攻击图数据存在过多冗余复制和难以实时更新的问题。最后通过本地网络实验和模拟数据验证了关联分析的有效性和在并行性能上的提升,其中关联分析准确率达到72%,同时在五百万节点量级的攻击图中,能够在17秒内完成5万告警的关联分析。(2)基于Flow的访问行为建模和异常检测。首先,本文提出了在企业网络中应用网络Flow进行自动化行为建模和异常分析的方法。该方法提出了 一种自动化被动网络服务应用发现手段,在没有先验知识的情况下能够发现网络中的服务端应用,并将Flow聚合成为面向服务端应用的访问流,解决了动态的企业网络中的网络服务持续监控问题。其次,本文还提出了基于LGA算法改进的PSOLGA线性聚类方法,该方法能够发现访问流中的线性模式,并以此为不同的服务端应用建立不同的访问行为模型,进而检测异常。相比LGA算法,PSOLGA的聚类结果稳定性和计算复杂度更优。同时,该方法还能够用内存图模型来对访问流中的高频时间序列进行挖掘,提取级联时序规则,以检测偏离访问关系的异常行为。在小型企业网中的实验结果表明,该方法能够对网络服务行为进行持续监控,并有效地检测Flow中的行为异常,检测准确率达到98.45%。(3)基于攻击图的多步骤攻击的态势威胁评估。首先,本文提出了基于威胁值和威胁距离的威胁评估方法,该方法结合主机状态重要性和漏洞的CVSS分数,同时考虑了漏洞和状态之间的因果关系和逻辑关系,提出了双向威胁评估模型。该模型解决了攻击图中的渗透动作相关性带来的评估难题,形成一个兼顾渗透动作危害性、渗透相关性和阶段状态重要性的双向威胁评估方法。其次,本文还提出了一个基于双向威胁评估模型的攻击序列评估方法,该方法能够在实时网络检测中评估当前攻击者已造成的危害和现阶段对目标造成的威胁。最后通过本地搭建网络和模拟数据表明,以上所提概念和方法具备合理性与有效性。