论文部分内容阅读
网络的出现及广泛应用,给人们的生活和工作带来了便捷,但同时也带来了很多安全问题,各种类型的病毒、漏洞、攻击都造成了巨大的损失。如何保护信息不被攻击和泄露,维护其完整性、可用性和保密性,是当前研究的关注重点。面对网络安全的现状,目前主要采取访问控制、数据加密、身份认证、防火墙、和入侵检测技术等措施,保障网络和信息系统的安全。入侵检测技术通过收集操作系统、系统程序、应用程序、以及网络流量包等信息,发现被监控系统或网络中违背安全策略,或危及系统安全的行为,是保障系统和网络安全的有效手段。机器学习方法用计算机模拟人类的学习活动,研究如何通过计算机学习现有的知识,发现新的知识,并通过不断完善,提升学习的效果。机器学习中包含大量的数据预处理和分类方法,与统计学、人工智能、信息论等学科有关联。其基本过程是通过从已有的经验中学习并构建学习机,进一步对未知的数据进行分类或预测。本文将机器学习的部分典型方法和算法应用于入侵检测中,探索其中的相关数据处理方法在入侵检测中应用的有效性和可行性。本文的研究在一个基于机器学习的入侵检测系统(Intrusion Detection System, IDS)框架下,主要研究三个方面的问题,并实现相应的解决方案。首先,入侵检测中通常面临安全数据的高维度问题,采用特征选择方法降低特征维度;其次,入侵检测技术的关键问题是如何提高检测的效果,提出一种粒子群优化人工神经网络的算法,用以提高检测准确率;第三,入侵检测系统面临着结果警报中误报高的问题,提出采用聚类分析实现误报消除的方法。具体内容包括如下四个方面:(1)一个入侵检测系统框架。参考已有的网络安全模型和入侵检测模型,针对实际应用中的需求,提出一种基于机器学习的入侵检测系统框架。框架满足提出的三个条件:事件处理流程的完整性,通用性,以及灵活性。(2)两类特征选择方法。采用四种典型的过滤式特征选择方法,按照特征的重要性进行排序,给出安全数据的特征序列。进一步引入K近邻(K-Nearest Neighbor,KNN)算法与支持向量机(Support Vector Machine, SVM)算法作为分类器,构建包裹式特征选择方法,按照分类器的效果选择特征子集。所选择的特征子集作为入侵检测方法的实验数据特征。(3)一个优化的神经网络算法。将人工神经网络方法应用于异常入侵检测中,研究这种应用的有效性和可行性。提出采用粒子群优化算法(Particle SwarmOptimization, PSO)对径向基函数(Radial Basis Function, RBF)神经网络进行优化的方法,并实现相应的算法。实验表明能够有效的提高入侵检测的准确率。(4)一种误报消除方法。入侵检测系统结果的警报数据中误报率高,导致有效的警报数据比例少,分析困难。提出并实现采用聚类分析对误报进行消除的方法,将入侵检测系统的警报结果中真实的警报和误报分离开,并验证这种方法的有效性和可行性。本研究的创新点主要有以下四点:(1)提出了基于机器学习的入侵检测系统框架,基于这一框架展开其它的工作;(2)实现与KNN和SVM结合的包裹式特征选择方法;(3)提出PSO优化的RBF神经网络算法;(4)采用两种典型的聚类分析算法实现入侵检测中误报的消除。综上所述,本文的研究是探讨机器学习方法在网络入侵检测中应用的有效性和可行性。包括一个系统框架,两类特征选择方法,一个神经网络的优化算法,以及一种误报消除方法,分别应用于降低网络安全数据的维度,提高入侵检测的检测率,以及降低警报结果中的误报。每个章节中,通过设计实验,验证所提出方法和算法的效果,以期为其他的研究者提供参考,并具有一定的实际意义。