在某些现代化物流和生产加工等环境中,存在一种具有多个智能机器人(或手臂)协同工作的搬运系统。机器人连续和高速的运转会导致其传动装置过热疲劳,发生故障甚至烧毁。因此,如何对搬运系统中的机器人进行合理的作业分配,避免单个机器人的过度疲劳,从而提高系统的工作效率、稳定性及安全性,是一个重要研究课题。通常此类作业分配问题可建模为离散事件动态系统(DEDS)领域内较为普遍的Markov决策过程(MDP)来研究。论文根据系统特点,首先建立了两机器人搬运系统作业分配的MDP模型。理论上,其优化问题可通过数值迭代或策略迭代等理论计算方法来求解。但是,由于系统的状态混杂性(hybrid),且状态空间巨大,理论计算方法需进行大量的矩阵运算,实际中往往不可行。因此,论文重点研究运用强化学习方法来解决这一困难。一方面,论文在性能势理论框架下,以Q学习为基础,研究了两机器人搬运系统的作业分配问题。通过对搬运系统模型特征的分析,提出对等状态-行动对(SAP)的概念。另外,考虑到机器人发热量为一连续状态变量,文中采用小脑模型关节控制器(CMAC)神经网络作为Q值函数的逼近器,设计了一种基于CMAC和对等SAP的Q学习算法。实验结果表明,此方法不仅克服了一般Q学习算法不能用于具有连续状态变量的系统优化问题的缺点,而且在一定程度上缓解了“维数灾”问题,并提高了学习系统的优化性能。另一方面,论文根据机器人的功能和任务均相同这一特性,运用性能势概念,设计了一种适于折扣或平均准则的多Agent Q学习算法。讨论了多Agent系统中强化学习的几个关键问题,如行动选择、报酬函数定义及Agent的信息交互等。最后,运用仿真例子验证了该算法在解决这种对等Agent系统的学习问题时的有效性,仿真结果也说明,适当的学习交互能提高算法的学习效率。