自适应动态规划方法是求解非线性系统最优控制的一种有效控制方法。在被控对象的内部动态特性已知的情况下,自适应动态规划的值迭代算法和策略迭代算法都可以用于求解最优控制。将基于数据的控制理论方法和自适应动态规划方法相结合,研究基于数据的自适应动态规划方法,可以在被控对象内部动态特性未知的情况下求解非线性最优控制问题。基于数据离线自适应动态规划方法,是通过采集系统的离线数据,并且在系统建模的基础上实现对系统的优化控制；一般情况下,离线数据相对在线数据能够更加全面地反映出系统运行的内部动态特性,基于数据离线自适应动态规划算法可以得到相对全局的优化控制解；但是,离线数据的更新时间相对在线数据更新时间要长,基于数据离线自适应动态规划算法运行速度相对较慢,并且在系统不确定性和建模误差存在的情况下,其算法的自适应能力也相对较差。基于数据在线自适应动态规划方法,直接利用系统运行的在线数据来实现对系统的优化控制；虽然,在线数据的更新相对离线数据要快,算法的运行速度较快,自适应能力较强,能够达到实时控制的要求,但是在线数据相对离线数据的局部性使得算法容易陷入局部最优。针对上述存在的问题,结合自适应动态规划离在线实现的优缺点,本文提出一种先离线后在线的自适应优化控制方法,即：在被控对象未知的情况下,采用基于数据自适应动态规划离线值迭代算法首先对系统进行离线优化控制,再使用在线Q学习策略迭代算法对离线优化控制进行在线改善。这种先离线后在线的基于数据的自适应优化控制方法,可以充分利用基于数据离线自适应动态规划方法和在线自适应动态规划方法的优点。甘蔗制糖澄清生产过程,是一个复杂的物理化学过程,具有非线性强、滞后大、不确定性强、输入多等特点。传统的基于机理模型的控制理论方法,在对甘蔗制糖澄清生产过程的pH值控制中,由于难于建立系统准确的数学模型而使得其控制效果很不理想。通过采集糖厂澄清工段系统的数据建立糖厂澄清工段系统的模型,本文将提出的方法用于甘蔗制糖澄清生产过程中的中和pH值的优化控制,取得了较好的控制效果,验证了本文所提出算法的有效性。