在多站点CSPS系统的协同控制问题中，系统的状态空间由多个站点的状态空间组成，其中每个站点的状态空间大小取决于其缓存库的容量大小，故系统状态空间的大小会随着站点个数的增加和缓存库容量的增加而成指数形式（或几何级数）增长，从而导致“维数灾”，影响学习算法的收敛速度和优化效果。本文在站点局域信息交互机制的基础上引入状态聚类的方法，以减小每个站点学习空间的大小和复杂性。首先，将多个站点看作相对独立的学习主体，且各自仅考虑邻近下游站点的缓存库的状态并纳入其性能值学习过程；其次，将原状态空间划分成多个不相交的子集，每个子集用一个抽象状态表示，然后建立基于状态聚类的多站点反馈式Q学习算法（SAFQL）。通过该方法，可在抽象状态空间上对各站点的前视距离策略进行优化学习。仿真实验结果说明，与一般的多站点反馈式Q学习方法相比，基于状态聚类的多站点反馈式Q学习方法不仅具有收敛速度快的优点，而且还提高了系统的生产加工率。为了实现精益生产、及时生产或符合企业的实际需求，本文将基于需求驱动的生产理念融入多站点CSPS系统中，提出并研究设计基于需求驱动的多站点CSPS的生产系统。首先，建立物理模型和数学模型，在数学模型中考虑以缓存库buffer的剩余容量和产品库bank的剩余容量为联合状态；然后，给出基于需求驱动的Wolf-PHC多agent学习算法。仿真实验结果显示，需求驱动下的Wolf-PHC算法获得了较好的优化结果，实现了需求带动生产，生产促进需求的生产方式。