现如今,网络通讯发展迅速,在网络数据大爆炸的环境下,网络安全的维护也变得越来越重要。异常检测系统通过提取网络流量的特征可以实现对异常入侵行为的检测,并且提前做出告警。因此,研究异常检测算法对于网络安全的保护有着非常重要的意义。本文使用深度学习的方法实现对网络流量的异常检测,证明使用卷积神经网络的方法进行流量特征提取并分类的可行性,同时结合循环神经网络对算法进行了改进,并利用残差网络解决算法的退化问题,将其应用与加密流量的异常检测中。具体工作如下:首先,使用卷积神经网络对流量特征集进行异常检测。本文使用标准的KDDcup99数据集,在对数据集做预处理和降维后生成新的训练测试集,对数据集做可分性验证后利用卷积神经网络构建新型的网络异常检测算法模型CNN-ADS。算法将原始流量矢量格式转换为图像格式,然后利用卷积神经网络自动提取降维数据中的流量特征,通过自主学习的方式提取出识别入侵行为更有效的信息。实验证明该算法不仅具有更好的时效性,同时还提高了对于攻击行为的检测率。随后结合循环神经网络的时序性,构建层次化时序特征学习的异常检测算法CNN-GRU,通过对比实验证明该算法的检测率、误报率等多项评估指标均优于传统算法。其次,使用残差神经网络对原始加密流量进行异常检测。本文使用标准的CICIDS2017加密流量数据集,通过流量的切割和数据处理方法,生成了新的检测数据集。为避免由于网络层数增加导致的退化问题,结合残差网络构建一种加密流量异常检测算法RN-ADS。算法与传统“卷积-池化-全连接”层叠式的网络设计方式不同,利用不同层次的残差网络来提取高维流量中的抽象特征,根据分类结果计算训练误差并通过反向传播迭代优化至算法收敛,对测试数据集的分类检测结果表明,该算法具有较高的异常检测准确率和良好的拟合度。