传送带给料加工站(Conveyor-Serviced Production Station,CSPS)作为一类重要的柔性生产系统,被广泛应用在现实生产制造当中,例如机器人装配线、单元化生产系统等。因此,研究CSPS系统的最优控制问题,通过合理地选择系统的控制策略,实现长远情况下系统运行代价最低,对提高系统的生产率和柔性有重要的现实意义。CSPS系统的物理模型通常为固定点捡取,机器人需要等待工件到达固定捡取点才可以进行卸载操作。随着生产线的智能化发展,机器人可以对捡取区间内的工件进行移动卸载,有效降低了卸载过程的时间,进而提高了系统的生产率。但在现有的可移动拾取式CSPS系统中,为了满足系统的无后效性,机器人在每次决策后都有可能会产生无效的延时等待时间。这种工作模式所带来的决策延时等待时间会造成生产周期的延长,从而降低了系统的生产效率。因此,本文提出了一种不考虑延时等待的工作模式,通过将延时等待时间转化为前视点的前移,解决了系统的无后效性问题。并以缓冲库剩余量和机械臂位置作为系统的联合状态,以前视距离作为系统的控制变量,建模为半马尔科夫决策过程(Semi-Markov Decision Processes,SMDP)。在建模后,使用策略迭代算法求解最优策略并根据该策略计算系统相关的性能值。另外,由于系统的复杂性,尤其是动态随机性,为建模的过程带来了很大的难度。在SMDP模型的基础上,本文使用了Q学习算法来寻找最优解或次优解。通过仿真,将实验结果与考虑延时等待的工作模式相比较。无论是理论算法还是Q学习得到的结果,均在系统性能方面优于考虑延时等待的工作模式,验证了本文所提出的的工作模式的有效性。