电力作为国家的基础产业,它的供应和安全不仅关乎国家安全战略更影响经济社会的发展。工控系统作为电力的重要组成部分,它的各方面安全都非常重要。在网络方面,理想状态下我们希望它一直稳定并且可靠运行。由于网络的互联性使得网络很容易受到攻击的威胁。虽然原有的检测系统可以很好地结合入侵警告和安全响应,但是随着技术的不断发展,攻击已变得更加普遍且难以检测,其中逃逸技术就是这类技术的代表,它可以通过伪装和修改网络数据流来逃避入侵检测系统的检测。本文所做工作为首先在原有入侵检测系统(IDS)的基础上结合电力工控网络的特点分析IDS存在的不足。原有入侵检测如果按照检测原则进行分类的话则分为滥用和异常的检测。前者只能对已知入侵进行检测,对于未知的则无能为力,因此漏报率相对较高。后者则被应用于网络和系统都不存在异常的模型中,但由于无法确定正常连接和入侵的阈值,因此导致误报和漏报的情况相对较多。然后对工控网络的特性进行分析,一方面由于工控网络是隔离的,无法频繁的更新特征库,导致漏报率相对较高。另一方面由于基于异常的检测漏报和误报相对较高且直接部署到网络环境中可能会影响工控网络的稳定性和实时性。为了解决以上问题本文采用DQN算法对原有IDS系统进行了改进,首先采用旁路部署的原则,解决了系统可能影响工控网络稳定性的问题。其次将卷积神经网络和Q-learning进行结合,进而产生了 DQN算法,利用它的自学习、探索与利用等特性实现对网络中的入侵行为进行实时自动的检测、报警以及对未知的攻击也可以实现有效的检测。本文先从研究强化学习、深度学习入手,研究将卷积神经网络与强化学习决策过程相结合的深度强化学习算法DQN,并将其应用于网络异常检测系统当中,用于检测网络入侵行为。搭建实验环境平台,使用大量的数据集对系统进行训练,并通过不断调整各个参数进行多次重复训练。对模型进行测试,将得到的可视化结果进行详细的分析,验证其可行性。