工业控制系统(ICS)是国家关键信息基础设施(CII)的重要组成部分,近年来,随着生产企业信息化和工业互联网技术的高速发展,传统的工业控制系统独立运行和网络隔离的机制已被打破,针对工业控制系统的安全事件频发,引起业界学界对工业控制系统安全问题的高度关注。实时、可靠、安全的网络通信是工业控制系统实现远程生产调度和现场分布式控制功能的基础条件,工控协议在网络通信中发挥着至关重要的作用。运用有效的测试方法对工控协议安全性进行测试,对及时发现和修补系统中潜在的异常或漏洞,避免实际运行中遭受风险具有重大意义。当前,将传统的模糊测试方法运用于工业控制系统漏洞的发现是一种有效的方法,但存在一些不足:(1)基于已知协议知识的工控协议模糊测试方法对协议分析方法要求较高,且实时性差、可扩展性低。(2)很多模糊测试方法在生成测试用例后,通常只会对协议的某个状态或者单个功能类型码发送测试用例,不能对测试目标进行组合式漏洞挖掘。本文基于强化学习提出一种解决上述不足的工控协议模糊测试方法,实现在测试过程中对协议进行在线学习,达到智能组合测试用例进行漏洞挖掘的效果。分别基于Q学习算法和DDPG算法设计了两种测试用例智能组合方法,一种是以选择测试用例功能类型码为动作,将功能类型码到测试用例的确定与被测对象一同视为环境,基于Q学习算法进行训练,实现测试用例智能组合。另一种是考虑到在测试过程中一个功能类型码会对应到不同的测试用例,为了尽可能降低环境的复杂度和波动性,对比测试用例生成过程,设计实现了一种基于漏洞特征的测试用例生成方法,利用DDPG算法确定测试用例生成中的变量值,实现测试用例智能组合。根据上述方案,本文搭建实验仿真环境进行实验与结果分析,实验结果表明本文提出的基于强化学习的工控协议模糊测试方法相比传统的工控协议模糊测试方法,能在测试过程中实现在线学习,智能组合测试用例对测试目标进行组合式漏洞挖掘。