连续过程以及间歇过程是化工生产过程中的两种基本生产形式,其中连续过程适用于制造大批量低精度需求的化工产品,例如石油化工过程。而间歇过程生产的产品多是搞附加值产品,生产批量较小,因此又被称为批次过程,相较于连续过程而言,批次过程将生产划分为多个阶段,对每个阶段进行不同操作以达到不同的加工目的。其适用于制药工程、塑料成型、半导体制造、精细化工等高精度的生产过程。批次过程是一种多阶段生产过程,系统动态特性复杂、操作变量繁多、过程重复运行皆是批次过程的特性,针对这些特性就要求批次过程的控制器具有快速响应、鲁棒性好、控制精度高、稳定性好等特性。针对批次过程的控制任务,迭代学习控制算法和强化学习算法是两种最具潜力满足其控制要求的算法。迭代学习控制是根据批次过程的重复特性所设计出来的一种学习控制算法由于是学习控制算法,迭代学习控制在不需要知道过程动态信息的情况下就能够将控制性能收敛至稳定,因此在批次过程的控制任务中迭代学习控制起到了至关重要的作用。然而迭代学习控制适用的过程仅限于完全重复的批次过程,即过程必须保证初始状态一致、过程动态一致、过程目标一致。在实际生产环境中,批次过程无法保证以上三个一致,这就导致迭代学习的鲁棒性较差。因此为了进一步推动迭代学习控制算法的应用落地,有必要提高其鲁棒性。强化学习也是一类基于学习思想的控制算法,由于结合了神经网络,强化学习具有出色的鲁棒性和泛化能力。强化学习通常被应用于游戏AI及广告推荐的决策任务中,其应用场景皆是动态特性复杂、多任务的过程,而这些特性也是批次过程所具有的,因此将强化学习应用于批次过程也是很自然的想法。然而强化学习存在数据利用效率低下,训练周期漫长,真实的批次生产环境无法为其提供理想的训练环境。除此之外,强化学习基于试错学习,其探索行为可能形成破坏性的控制策略,将强化学习算法直接应用于真实生产过程,会带来不可避免的安全问题。因为以上原因,如何提高强化学习的数据利用率以及保证其探索空间的安全性是推动强化学习应用落地必须解决的关键问题。针对迭代学习在非完全重复批次过程中鲁棒性差以及强化学习学习效率低下的问题,本文率先提出了一种基于迭代学习控制引导的强化学习控制方案（Iterative Learning Control Guided Reinforcement Learning Control,IL-RLC）。该方案并行运行两类控制算法,通过迭代学习控制利用前一批次的控制信息计算当前周期的前馈控制信号,利用该前馈控制信号对当前周期强化学习的控制信号进行引导。这样做的好处在于:一方面通过迭代学习引导强化学习在合理区间对策略进行探索优化,避免安全隐患;另一方面通过强化学习提高控制器的鲁棒性能。针对IL-RLC无法完全利用ILC所提供的引导信息的问题,本论文进一步提出了基于迭代学习控制专家数据引导的强化学习控制方案（Learning from ILC Demonstration,ILC-LFD）。该方案利用迭代学习控制提供的控制序列对强化学习的策略网络和价值网络参数的优化方向进行引导,使得强化学习的策略网络和价值网络能够较快收敛至稳定的控制策略。在ILC-LFD算法中,由于强化学习前期交互数据较少,其策略网络和价值网络主要依据ILC提供的数据进行更新,因此能够在训练前期就能够得到一定的控制效果,从而提高学习效率。随着强化学习交互数据的增多,网络所依赖的数据逐渐迁移到探索所得到的交互数据,因此在训练后期控制器的鲁棒性又能够得到提高。在本文中,我们首先通过线性系统的仿真实验证明两种算法的有效性,再通过非线性批次反应釜的仿真系统证明了两种算法对于化工生产的有效控制能力。