在现实世界的一些生产制造企业中，存在一类由生产加工站作为加工主体的生产线，其中，加工站由传送带输送工件进行加工，这类系统称为传送带给料加工站(CSPS)。在多工序CSPS系统中，生产线有多道工序，每道工序由多个一般站点组成，而相邻的上游工序和下游工序之间通常设置一个柔性站点，用于在上下游工序之间进行切换，调节各个工序作业负载，提高系统的生产率。在多工序CSPS系统的优化控制问题中，一般站点始终在工序内部进行Look-ahead的协同控制，而柔性站点的决策控制分为两层，即上层的工序切换决策和下层的Look-ahead控制决策。多工序CSPS系统的优化目标是选择合理的上层切换控制策略以及下层的Look-ahead控制策略，使得整个系统在无穷时段内处理率最大。首先，针对柔性站点的上层切换控制中状态空间较大的特点，引入小脑模型关节控制器（CMAC）神经网络来逼近表示状态-行动值，并提出了一种适用于平均或折扣性能准则的统一神经元动态规划算法，以解决不同工序间的协作问题。其次，针对下层的Look-ahead协同控制问题，给出了一种基于局域信息交互的多Agent学习算法，以解决每道工序内部的站点协作问题。仿真实验结果表明论文提出的基于CMAC网络的分层协同优化控制机制具有存储空间小、优化精度高和优化速度快的优势。另外由于上层状态变量由多个元素组成，状态空间十分复杂，从而导致系统遭遇“维数灾”问题。因此本文首先通过状态聚类方法，减小状态空间，然后引入RBF神经网络来逼近表示状态-行动值，以解决不同工序间的协作问题。仿真实验结果显示，相比于直接选用RBF网络逼近状态-行动值，通过状态聚类后选用RBF逼近状态-行动值的方案具有优化精度高和优化速度快的优势。