随着信息技术的蓬勃发展,网络设备越来越多,被攻击的可能大大增加。防火墙、数据加密等被动安全工具无法有效抵御复杂多变的攻击行为。入侵检测作为一种主动防护技术,能在系统遭受网络攻击前识别出恶意攻击并拦截或响应,是一种高效的防护手段,成为了网络安全方面的研究重点。支持向量机（SVM）是典型的二分类算法,可处理非线性数据,避免维数灾难,同时具有较好的泛化能力。SVM算法在分类问题上表现出了很多优势,成为了各领域研究的重点。通常入侵检测模型的任务是将高维不可分的网络数据划分为正常和攻击两类。因此,将SVM算法应用于入侵检测是行之有效的。本文主要工作:（1）针对SVM算法参数设置不当导致分类性能不佳的问题。提出改进灰狼算法优化支持向量机（TLIGWO-SVM）的入侵检测分类模型。利用TLIGWO算法寻找SVM的参数,利用得到的最优参数构建TLIGWO-SVM最优分类模型。（2）为解决传统灰狼优化算法（GWO）种群质量差、难以跳出局部极值等问题,提出改进灰狼算法（TLIGWO）。使用Tent混沌映射初始化种群、随机收敛因子和小孔成像反向学习三种策略解决灰狼算法的不足,提升算法的性能。TLIGWO算法的新颖之处是动态调整伸缩因子,使小孔成像反向学习生成的反向解是动态的,有效增加寻优位置的多样性。在6个标准测试函数中,实验证明了小孔成像反向学习策略能有效避免算法陷入局部最优,对TLIGWO算法性能贡献最大,同时证明了本文TLIGWO算法的寻优精度和稳定性相对较好。（3）为降低高维、冗余特征对TLIGWO-SVM分类模型的影响,使用降噪自编码器（DAE）进行特征学习。提出降噪自编码器和改进灰狼算法优化支持向量机（DAE-TLIGWO-SVM）的入侵检测模型。在KDD CUP99数据集上开展相关实验,实验表明了DAE算法特征提取的有效性、TLIGWO-SVM分类模型的入侵检测性能优于GWO-SVM和SVM,同时,验证了DAE-TLIGWO-SVM模型进行入侵检测时各项指标均优于对比模型。（4）针对SVM算法解决多分类问题存在极大的困难,设计了一种多分类的SVM。针对入侵检测数据集中的无关、冗余特征导致多分类SVM不能有效识别各类攻击行为的问题,提出混合模型的特征选择算法。提出先使用方差分析法过滤掉部分特征,再使用极端随机树的递归特征消除算法（ET-RFE）获得最优子集,然后输入到SVM中进行入侵检测分类。最后,在NSL-KDD数据集上与其它模型比较,验证了本文的（ET-RFE）-SVM模型在对攻击行为的检测上具有较高的检测准确率和召回率。（5）将支持向量机算法以Snort预处理器的方式集成到Snort入侵检测系统中,使Snort具备了异常检测的功能。提高了Snort入侵检测系统的检测准确率。