论文部分内容阅读
如今互联网得到大面积的普及,给人们生活带来巨大便利的同时,各种网络攻击严重威胁网络基础设施、企业服务和个人主机的安全。所有网络攻击中,DDoS攻击以破坏性大、隐蔽性强的特点,成为最具破坏力的网络攻击之一。为有效检测DDoS攻击,本文对大数据处理技术应用于网络安全审计展开研究,主要工作与创新点如下:(1)分析DDoS攻击的关键技术、传统网络安全审计系统的系统架构设计,认为传统的网络安全审计系统存在计算能力有限、通过日志分析的方式不能实时检测DDoS攻击的问题,因此提出将大数据流处理框架与传统网络安全审计技术相结合的方式来检测DDoS攻击,论文设计了基于Spark Streaming框架的DDoS攻击检测系统。系统具备处理海量网络数据的能力,能够实时检测DDoS攻击,其中基于Spark Streaming流计算的TCP会话管理模块创新性地将流处理框架与TCP重组算法结合,从TCP会话维度描述网络流量,为检测DDoS攻击提供一种新的视角。(2)传统DDoS攻击检测方法存在检测闽值难以设定、识别攻击主机困难的问题,文中提出了基于滑动平均算法与逻辑回归二分类算法相结合的DDoS攻击检测算法解决上述问题。算法阶段一提出根据滑动窗口范围内的历史特征数据预测未来的流量增长趋势,探讨了自适应阈值对检测结果的影响,实验证明本文算法具有较高的的准确率和召回率。算法阶段二提出在TCP会话的粒度上建立逻辑回归二分类检测模型。文中首先利用TCP会话重组算法构建会话并实时更新特征向量,然后生成训练集求解模型,最后探讨了模型的调优。实验表明建立的模型在检测攻击会话时,具有较高的准确率和召回率。(3)文中提出几个建立在TCP会话基础上的特征来描述网络流量,如TCP会话持续时长、TCP访问频率的自信息等。观察特征在攻击前后的变化趋势图,均呈现显著的差异,证明提出的特征能够较好地区分正常流量和异常流量。