现实的自动化生产线中,有一类由传送带将工件送至配有缓冲库的加工站进行加工的生产系统,称之为传送带给料加工站(Conveyor-Serviced Production Station,简称为CSPS)。作为当今智能生产领域中一种重要的、具有代表性的抽象模型,其最优控制问题的研究具有重要的现实意义。本文主要考虑一类面向多个品种工件加工的单站点CSPS系统的优化控制问题。该系统中,不同品种工件按照独立泊松过程沿传送带随机到达,站点配有相应缓冲库存放各品种未加工的工件,不同品种工件的加工时间服从不同参数Erlang分布。系统的优化目标是通过选择最优的前视距离策略,协调各品种工件到达过程和服务过程,力求在提高生产率的前提下,平衡各品种工件的生产。论文首先以系统中各缓冲库的剩余量为状态,站点的前视距离为控制决策变量,无穷时段期望代价最小为优化目标,将其最优控制问题建模为半Markov决策过程(SMDP),给出了系统随机动态矩阵和性能函数矩阵。该模型的建立为引入理论优化和强化学习优化算法提供了数学基础。在仿真计算中,分析研究了多品种CSPS系统的缓冲库容量最优设计问题,给出了策略迭代算法和Q-学习算法的优化曲线,并分析讨论了各品种工件的到达率和服务率对系统性能的影响。仿真结果验证了模型的合理性和方法的有效性。由于系统的状态空间随工件品种数量和缓冲库容量的增加呈指数增长,存在“维数灾”现象,导致理论算法的求解速度和Q-学习算法的学习速度大幅度降低。因此论文将原始状态空间划分为多个不相交的子集,每个子集用一个抽象状态表示,减少了系统状态空间的维度和大小,引入Q-学习算法在抽象状态空间上进行学习和优化。实验结果表明,该方法优化速度更快,对每个抽象状态的学习更充分,优化效果更好。