随着信息网络规模的扩大、网络数据量和数据维度的增长、网络攻击技术的多样化,信息产业对网络健壮性和安全性提出了更高的要求。针对网络运维数据关联溯源、网络异常特征建模攻击识别、网络行为模式抽象等进行理论分析和技术研究,对网络安全保障和异常行为检测具有理论和实际意义。利用大数据、机器学习等新兴理论和智能策略挖掘网络异常行为、进行多角度联合分析建模,成为当前的研究热点之一。然而,目前网络异常行为检测方案还存在以下问题:海量网络数据的关联挖掘与溯源难,机器学习在业务层面的可解释性差,缺乏网络异常行为模式的抽象模型等。本文从理论研究、算法优化和实验验证等层面开展以下研究:1.针对异常流量的多分类问题,提出了一种基于度量学习的端到端异常行为识别模型。针对传统网络异常流量识别模型不适用于当前加密流量日益增加的网络环境,以及传统机器学习算法下数据特征提取需要丰富的领域知识费时费力等问题,本文优化损失函数的特征表达,将欧式空间中的高维流量数据特征映射到余弦空间,通过压缩类内间距增加类间距的方式实现了特征超平面的分类映射,并扩展到了开集场景以解决未知分类。实验结果表明,度量学习的嵌入有效提高流量分类模型的性能,且开集有效增加了不同数据集的泛化能力。2.针对算法业务层面的解释性,提出了一种基于网络结构和数据特征的跨算法解释框架。针对网络异常流量分类模型的业务可解释性不高的特点,以及实际业务中由于模型的“黑盒”特性而对分类结果无法进行解释导致置信度不高的问题,本文从业务理解出发,基于模型结构和数据特征,设计了一种可解释框架以提高算法可靠性,提高异常行为分类的信息量。实验结果表明,联合框架可以解释网络安全流量的业务特征,优化算法选择和特征选择的分类模型。3.针对告警日志中的网络异常数据,提出了一种基于告警传递的网络异常行为发现模型。针对传统告警传递模型置信度和支持度不稳定的情况,设计面向海量数据的网络拓扑时序关联警告挖掘算法,提出了对数据源字段与其统计特征的一般性提取方式,引入时序约束检测异常行为,通过融合时间约束、滑动时间窗和分类层次等过滤无用序列,基于告警传递拓扑针对无线网频繁项集、拓扑筛选验证与跨域告警关联进行优化。实验结果表明,结合时间窗口改进GSP算法挖掘时序关联告警,能有效关联告警信息,压缩冗余为故障溯源提供数据依据。4.针对异常行为传播的网络建模,提出了一种基于依赖关系的网络的行为分层表达模型。针对大规模网络中的节点间的赖关系,研究异常行为的传播机理,从级联效应出发分析多种异构网络拓扑环境的实时动态性与不稳定性,构建具有不对称依赖组的多层网络级联模型,引入层内和层间的异常恢复机制,分析不同参数对行为传播及鲁棒性的影响。实验结果表明,平均场近似理论解与仿真结果一致,层内故障阈值和层内恢复阈值对鲁棒性影响最强。