随着社会信息化程度的不断提升,网络安全事件日益频发,造成了不可估量的经济损失和社会资源浪费,同时黑客技术与攻击模式的推陈出新也使得传统的网络防御技术已无法满足这个时代的需求。网络杀伤链是一种隶属于高级持续性威胁范畴的新型攻击模型,以其鲜明的阶段性特征被越来越多的黑客组织用于信息窃取和系统攻击,并且技术手段的多样性使得攻击活动在目标主机或目标网络上十分隐蔽。因此如何有效地、完整地挖掘并预测分析网络杀伤链是网络安全领域面临的新的挑战。与传统的基于规则匹配的方式相比,网络流量日志能够监控用户的访问行为和系统的异常事件,是目前对具有隐匿性、持续性和阶段性特征的网络杀伤链实现有效分析的主要方式。因此本文研究并提出网络杀伤链检测与预测模型,通过对日志数据的分析与挖掘,设计并实现了网络杀伤链检测平台。本文的具体工作内容如下:1.研究分析了网络杀伤链的特征和日志数据,提出网络杀伤链检测与预测模型。首先,本文构建了特征向量并定义字段的相似性度量,针对构建特征向量相对主观的问题,提出基于局部图重构的无监督特征选择算法。分析表明算法同时考虑无参化与冗余度的问题,通过求解矩阵二次型得到全局最优解,进而筛选最能保持原有数据空间结构的m维特征。其次,针对传统谱聚类算法需要设置聚簇数目的问题,提出改进的聚类数可自识别的谱聚类算法。算法通过正则化稀疏类簇的指示向量,使指示向量中所包含的非零值的位置正好是数据集中属于该类簇数据点的位置。实验结果表明,所提算法能够自动识别潜在的聚簇数目,即每一个类簇代表一个网络杀伤链攻击序列。最后,基于已经得到的杀伤链序列集合,提出三种杀伤链变种模型并首次采用马尔科夫模型对其进行场景构建与理论分析,通过求解柯尔莫哥洛夫微分方程推导出杀伤链攻击的预测结果。2.基于网络杀伤链检测与预测模型,借助大数据平台、Web开发框架和数据库理论等技术手段,设计并实现了网络杀伤链检测平台。该系统共有四个模块,分别是数据预处理模块、杀伤链检测与预测模块、可视化模块和检索模块。数据预处理模块完成对原始数据的归一化处理和样本之间的相似度计算并存储,随后通过特征选择算法除去冗余特征。杀伤链检测与预测模块通过改进的聚类算法实现杀伤链序列挖掘,已检测到的杀伤链序列集合被存储并作为杀伤链预测的输入,随后根据理论分析输出对未来攻击的可能性预测。可视化模块采用描述性可视分析方法,实现数据的多层次高效表达。检索模块完成对用户输入的多条件检索,并给出详细信息。