论文部分内容阅读
随着越来越多的计算机网络活动和在线敏感信息的流动,许多组织已经变得容易遭受各种类型的网络攻击。因此,保护网络系统免受入侵破坏和其他异常活动的攻击,对政府,公共和私营部门组织来说已变得非常重要。在某些情况下,传统加密方法和入侵防御系统（包括防火墙,访问控制和安全网络协议）会将恶意流量引入网络系统。入侵检测系统（IDS）是网络安全系统的一个众所周知的组件,它通过应用机器学习算法来检测新的和未知类型的网络攻击,从而有效地确保网络系统上的事务的安全。之前关于IDS的研究一直侧重于特定问题,例如过拟合,冗余特征和有限的训练样本,其中特征选择（FS）仍然是一个很大程度上未被探索的领域。本文旨在通过利用判别性特征选择,群特征选择,稀疏表示,组合方案和网络入侵分类等方法来填补这一空白。本论文的贡献可归纳如下:1.冗余和不相关特征的存在、有限数量的训练样本等问题在分类任务中引入了许多挑战,例如过拟合,高计算成本,缺乏模型可解释性和噪声敏感性。为了实现IDS的高精度,本文采用稀疏逻辑回归（SPLR）算法来解决FS和分类问题。该算法通过采用稀疏正则化方法,从原始特征池中选择一部分特征来进行分类。同时本文还提出了一种线性SPLR模型,该模型不仅能从数据集中选择判别性特征,还能学习到线性分类器的系数。与分离FS和分类过程的传统FS方法（例如,过滤（排名）和包装方法）相比,所提出的基于SPLR的方法将FS和分类任务组合成一个统一的框架。实验结果表明,本文提出的方法要优于大多数众所周知的用于入侵检测的技术。2.结构化SPLR（SSPLR）是SPLR的扩展,它选择重要的特征组别和单个特征,同时减少噪声和不相关特征（组）的干扰,以提高分类的性能。在IDS分类的情况中,稀疏性表明只有选定的特征（组）对分类器有用,并用以确定网络中的入侵类型。本文据此引入了一个有利于IDS系统进行分类的重要的特征（组）。最近,SSPLR方法通过引入结构性稀疏惩罚项（I1,I2）来分析和处理数据。在SSPLR中,特征之间的关联在建模的过程中被识别,而关于特征结构的先验信息可以被映射到诱导稀疏的范数中。SSPLR方法的优点在现实网络入侵数据集上得到了验证。3.针对IDS,本文提出了一种基于J48和朴素贝叶斯（NB）方法的混合挖掘算法,这两种算法都是在数据挖掘中针对分类任务突出有效的分类器。所提出的算法将输入的网络流量分类为正常或异常攻击,并且算法中的每个特征向量包括描述网络流量的41个特征值。该算法还解决了 IDS通常面临的一些困难,例如如何丢弃冗余特征,减少训练数据集中的矛盾记录的数量。本文同时利用检测准确度,灵敏度,特异性和F-测量等指标,对J48,NB和Bayes Net等方法进行了比较测试。所提出的采用了求和方案的混合挖掘算法实现了91.36%的检测精度,与J48或NB等方法相比,该算法在实际基准数据集上获得了明显更好的结果。