随着网络规模的增大,不可避免的存在着一些安全漏洞,这些漏洞一旦被攻击者发现,便会利用这些漏洞对系统发起攻击,给网络安全带来极大危害。面临网络安全中存在的漏洞带来的威胁,越来越多的安全人员加强了对网络流量安全性的研究,通过机器学习算法构建恶意流量识别模型对网络攻击进行识别,发现网络流量中的潜在风险。但是这些模型要想达到比较准确的识别效果,不仅依赖于分类算法的性能,还与训练分类模型时用到的特征集优良也有着很紧密的关联。因此,本研究以漏洞利用攻击行为为研究对象,以高效的特征提取方法为研究目标,展开了一系列的研究。由于现有的异常攻击数据集往往会存在数据不平衡的问题,其中异常流量数据远远小于正常流量数据,对检测模型的识别性能存在一定影响,因此本研究采用基于主动防御策略的蜜罐技术来收集网络流量。通过对漏洞利用攻击特征提取技术进行深入的研究和分析,提出了一系列能够提取高效表征攻击行为特征的方法,并进行了大量的实证研究,通过设计多组实验对所提方法有效性进行验证,且与本领域中使用广泛的特征提取方法进行对比分析,同时为实现操作流程的自动化,设计并实现了漏洞利用攻击特征提取及识别系统。本文主要研究内容及贡献总结如下:1.针对浅层学习方法中的核主成分分析（Kernel Principal Component Analysis,KPCA）方法,由于其缺乏对类别信息以及特征属性在均值方面的考虑,本文提出了一种基于KPCA的二次特征提取L-KPCA（Linear Discriminant-Kernel Principal Component Analysis）方法。该方法首先利用核主成分分析技术将原始线性不可分的数据样本投影到高维线性可分空间,删除冗余及不相关特征。之后在新的特征空间中利用线性判别分析（Linear Discriminant Analysis,LDA）方法进行二次特征提取,以获得更为精准的特征属性。这样的处理在保证对网络流量中非线性数据的处理效果的同时,也有效弥补了KPCA只侧重从方差角度对特征进行分析而忽略了特征在均值方面的表现的问题,做到了同时考虑数据在均值和方差两个方面的特性,进而对数据特征进行更加全面的分析。此外,L-KPCA方法注重对类别信息的利用,能够提取出有利用分类的特征组合,使得后续利用特征训练分类模型时能够使其达到更好的识别效果。为验证该方法的有效性,本文还基于该方法提出了恶意攻击识别模型L-KPCA＿SVM,用于对网络流量中漏洞利用攻击流量进行分类识别。通过设置对比实验,所提方法能够使分类模型在识别精度和召回率方面表现得更好。2.针对深度学习领域中的卷积自编码器（Convolutional Autoencoder,CAE）方法,考虑到数据样本到特征的处理工作均在编码阶段完成,因此本研究提出一种非对称的深度卷积自编码器ADCAE（Asymmetric Deep Convolutional Autoencoder）特征提取模型。该模型结合了自编码器和卷积神经网络的优点,通过只保留卷积自编码器中的编码过程,并设置多层隐藏层构造出非对称深度卷积自编码模型,同时通过实验为模型设置合适的编码器隐藏层层数,使得模型能够得到最优的隐藏层输出,即特征。同样地,基于该模型构建了恶意流量识别模型ADCAE＿SVM,结合SVM算法对网络流量中的漏洞利用攻击进行检测分类。通过观察对比实验结果,本文所提模型对比现有模型能够有效提高识别效果,在样本检测上具有较高的稳定性和准确性。3.鉴于在实验过程中计算算法执行结果时会产生大量实验数据和重复劳动,考虑到人为处理会产生错误干扰。因此本文设计并实现了一个漏洞利用攻击流量识别系统EATIS（Exploits Attack Traffic Identification System）,该系统以模块化的方式集成了流量样本从数据预处理、特征提取、分类模型训练,到最终数据分析全部过程,同时该系统具备高度自动化的特点,能够有效降低人工干预。通过测试,验证了该原型系统的可行性与有效性。