近年来,网络朝着高速、多元化方向发展,同时也带动网络应用朝着多样化方向发展。由于网络规模的扩张,网民数量的增加,网络攻击活动显著增加。现有的网络攻击善于隐藏和伪装,传统的基于签名检测、基于主机检测、基于网络检测等方法检测能力逐渐降低,而网络异常流量检测技术作为当前最为有效的安全防护技术之一,能够有效检测攻击活动,也是当前研究的主要方向。本文针对数据集不平衡、实时检测、重复训练复杂模型带来的资源开销问题展开研究,具体研究工作如下:1、针对数据集不平衡所带来的恶意软件流量准确率偏低的问题,提出了一种基于生成式对抗深度卷积网络的数据集生成方法。该方法首先进行数据预处理去除原始流量数据中的冗余特征,然后通过生成式对抗深度卷积网络对预处理的数据进行优化处理并检测分类。实验结果表明,该方法在提高整体准确率的同时,还能有效提升恶意软件流量Neris和Virut的F1-Score值。2、针对复杂模型难以进行实时在线检测的问题,提出了一种基于半监督式深度强化学习的网络异常流量检测方法。该方法中,当前网络采用自编码器—深度神经网络,目标网络采用深度神经网络,并采用贪心策略算法求取最大Q值时的动作。下一时刻只需输入流量特征,通过K-means算法预测其标签,然后通过目标网络预测其Q值,最后与奖励值、折扣因子计算目标Q值。实验结果表明,该方法在存在未知攻击的环境中也能有效检测,并能满足实时检测的需求。3、针对新攻击环境下重复训练复杂模型引起的资源开销问题,提出了一种基于深度迁移强化学习的网络异常流量检测方法。该方法将强化学习阶段训练出的对抗环境竞争双深度Q网络模型参数迁移至微调阶段,并实施目标模型的微调。实验结果表明,该方法能有效降低模型训练及预测时间。综上所述,本文首先针对数据不平衡问题提出生成式对抗深度卷积网络解决方案,并依此基础提出实时在线检测的半监督式深度强化模型,最后为应对不同攻击环境下实时检测模型需要重复训练的问题,结合微调思想提出深度迁移强化学习模型。