入侵检测作为一种动态的网络安防手段,可以有效地保护计算机系统和网络免受入侵,并与静态安防手段相辅相成,共同构成网络安全防线。近几年,基于数据挖掘的网络入侵检测技术逐渐成为研究的热点,然而在研究的过程中存在一些问题,如数据中存在冗余特征影响检测效果,算法难以处理异常数据且处理大规模数据速度慢等。因此,本文通过特征选择方法,以及结合分布式计算平台Spark对网络入侵检测进行深入研究。具体的工作如下:1.针对网络入侵检测数据中含有冗余和噪音特征影响检测效果,以及数据维度过高使得分类器训练和检测时间过长的问题,提出了一种基于自适应遗传算法的混合特征选择方法。首先,通过卡方(Chi Square,CS)过滤算法,删除冗余和相关性低的特征。其次,采用Light GBM分类器结合自适应遗传算法构成混合特征选择方法,搜索分类效果好的特征子集。实验结果表明,该方法相比于过滤和封装方法具有更好的特征约简能力,且选择后的特征子集在不同分类器上有较高的检测率和较低的误报率。2.针对K-均值算法在处理网络入侵检测中的线性不可分数据以及类分布为非椭圆分布时聚类效果较差的问题,提出了一种基于高斯核函数的并行K-均值优化算法。首先,利用高斯核函数把网络入侵检测数据映射到高维特征空间中,增大各类样本之间的差别。其次,通过优化后的核K-均值算法对网络入侵检测数据进行聚类,该算法可以在K-均值算法失效的情况下,仍能得到正确的聚类。最后,为了处理大规模网络入侵检测数据,将优化后的核K-均值算法在Spark上并行化实现。实验结果表明,该算法相比于K-均值算法具有更好的检测能力,且在处理大规模数据时有较好的加速比和扩展比。