信息化技术和互联网的快速发展正深刻地影响着人民的生产与生活方式,我国社会正逐步朝着信息化社会迈进。根据第47次《中国互联网络发展状况统计报告》[1],截止2020年底我国的互联网普及率已达70.4%,人民的生产和生活与网络紧密相关。然而,在人们享受信息化与智能化所带来的便利同时,网络空间中所存在的安全问题是无法被忽视的。《2019年我国互联网网络安全态势综述》[2]中的统计数据显示,约有44.4%的网民2019年在上网过程中遭遇过网络安全问题,网络安全问题愈发严峻。网络空间安全的稳定意义重大,而保障网络空间的安全离不开对于网络空间中“攻”与“防”的研究。恶意流量作为网络空间中的一大攻击载体,从“攻”与“防”两方面对其开展研究对于保卫网络空间安全有较为深远的意义。从防御的层面来看,尽管基于监督学习方法的恶意流量检测技术已展现出其优越的能力。然而,在监督学习算法中使用的流量特征不易确定,并且穷尽流量特征与学习算法的组合是不切实际的。如何有效地自动选择特征子集,确定学习算法以构建高效的恶意流量检测器是需要研究的关键问题。同时,对攻击层面的深入研究也能够有效地促进防御技术的提升。因此,考虑到监督学习算法对于对抗样本敏感的缺点,从攻击的角度对恶意流量对抗样本生成方法进行研究也具有一定的必要性。如何生成恶意流量对抗样本用于检测器预训练以应对潜在的对抗攻击进而实现主动防御亦是非常值得研究的问题。综上所述,针对现有恶意流量检测技术的不足以及对抗场景下恶意流量检测器不够鲁棒的问题,本文提出了基于强化学习方法的恶意流量检测器构建方案以及恶意流量对抗样本生成方法。本文对于恶意流量检测与对抗样本生成两方面的研究不仅能提升恶意流量检测器在非对抗场景下的性能,还能提升其在对抗场景下的鲁棒性。本文的主要贡献如下:（1）针对基于机器学习方法的恶意流量检测器构建过程中流量特征选择与训练算法不易确定的问题,本文提出了一种基于强化学习DQN算法的恶意流量检测器生成方案DQ-MDCS。将恶意流量检测器的构建过程形式化为决策问题,对强化学习算法中状态空间、动作空间以及奖励函数进行了问题建模。通过对智能体的不断训练,使得其能够在无需人工干预的情况下选择低冗余的流量特征,并确定学习算法用于恶意流量检测器的训练生成。基于NSL-KDD的Test+数据集,通过DQ-MDCS构建的恶意流量检测器能够有效的识别恶意流量,其检测准确率可达88%。同时,所生成的恶意流量检测器能够快速识别恶意流量,检测器体积容量更是缩减至了56Kb。相比于基于深度学习方法的恶意流量检测器,DQ-MDCS所生成的检测器响应时间更快也更加轻量,可以适应现实世界的情况。（2）针对基于监督学习方法的恶意流量检测器对于对抗样本不够鲁棒的缺点,本文提出了一种基于强化学习A3C算法的恶意流量对抗样本生成方法A3C-MTAG。该方法旨在生成恶意流量对抗样本用于恶意流量检测器的训练,提升检测器在对抗场景下的稳定性,从而实现积极主动防御。通过模拟恶意流量与恶意流量检测器交互的过程,训练智能体对原始恶意流量样本采取动作,并向其中添加细微的扰动以生成恶意流量对抗样本。实验结果表明,相比于未经对抗样本训练的恶意流量检测器,重训练后的恶意流量检测器的检测准确率最多可提升近50%,进一步提升了防御性能。同时,基于相应的研究结果给出了对抗场景下基于监督学习方法的恶意流量检测器可行的防御措施。