入侵检测(ID)是保障网络安全的有效手段之一,为了提高入侵检测系统的检测率,降低误报率,越来越多机器学习算法被应用到了其中。随机森林算法因其原理简单,分类准确且泛化性强等特点被广泛应用在各种网络关键设备的入侵检测模块中。然而,网络报文数据具有很高的不平衡性,且数据的特征维度很高,使得随机森林算法在使用时的分类性能大幅度降低。另外,由于随机森林算法需要建立大量的决策树,导致建模时间过长。针对以上问题,本文研究提出了一种改进的随机森林算法,并基于此搭建了一个入侵检测系统来验证改进算法的防护效果。文章主要研究内容如下:(1)针对网络报文数据不平衡和特征维度高的特点,提出了一种基于混合采样和特征预排序的随机森林算法MS-FPR-RF(Mixed Sampling and Feature Pre-ranking Random Forest)。改进算法将数据划分为多数类样本和少数类样本,对少数类样本进行边界判定,若为边界少数类则多次采样。另外,使用特征预排序方法将特征按分类能力进行定性的排序,删除分类能力较弱的特征以训练出较高精度的决策树。在构建众多高精度决策树后使用双次失败度量DF作为树之间的距离,使用k-means++算法选择出多样性较强的决策树,组成最终的随机森林模型。实验表明,改进的随机森林算法在多个数据集上都较传统算法有更高的检测率。特别是在数据类别不平衡的CSE-CIC-IDS2018数据集上,改进算法的正确率达到了81.3%,而准确率则达到了93.4%。(2)针对网络报文数据量过大,随机森林建模时间长的问题,本文使用Spark分布式框架对算法进行了并行化处理。在18万条数据上进行对比实验,5节点并行化处理后的运行时间由原来的200秒降低至42秒。(3)在改进随机森林算法和Spark分布式框架的基础上,本文设计搭建了一个入侵检测系统验证改进算法的防护效果。实验数据来自采集到的家庭网关日志文件以及扫描软件发出的扫描报文。此系统主要分为算法建模和入侵检测两个部分。实验结果表明改进算法将检测的准确率由82.2%提升至86.5%,68341条数据的检测时间由183秒降低至42秒。