对于带有不确定性的机器人系统,本文主要考虑了基于强化学习的鲁棒最优跟踪控制问题.首先考虑受到环境干扰的机器人系统,将其表示为带有不确定性的动力学模型.然后在一些合理的假设下,对自主水下机器人和Mecanum轮式移动机器人分别提出了鲁棒最优跟踪控制策略.最后,仿真结果验证了同步学习算法和近似最优跟踪控制器的有效性.具体地,对于具有模型不确定性和外部扰动的自主水下机器人,提出了一种基于在线策略迭代算法的鲁棒最优跟踪控制策略.首先,通过速度变换推导出水下机器人在固定坐标系下的动力学模型,并引入扰动观测器来补偿总体扰动;其次,在观测误差的影响下,构造了跟踪误差和期望轨迹组成的增广系统,通过设计增广系统的鲁棒最优控制器来解决跟踪控制问题,然后采用基于神经网络的Actor-Critic框架得到了增广系统的HJB（Hamilton-Jacobi-Bellman）方程的近似解.由于扰动观测器会增加系统的状态,采用策略迭代算法时,系统的收敛速度比较慢.因此,通过研究Mecanum轮式移动机器人在外部扰动下的鲁棒最优跟踪控制问题,对学习算法进行了改进.首先通过分析Mecanum车轮的结构特性,建立了滑动作用下的欧拉-拉格朗日方程.然后,将跟踪控制问题转化为增广系统的时不变最优控制问题,应用在线Actor-Critic同步学习算法,采用带有遗忘因子的标准化的最小二乘算法训练Critic神经网络,得到一种改进的学习律来解决增广系统的最优控制问题.保证了系统输出跟踪到给定的参考信号且闭环系统的所有状态有界.