强化学习在机器人视觉伺服控制中的应用一直都是一个极具挑战性的课题。为了构建一套基于深度强化学习算法的视觉伺服控制系统,本文从两方面展开工作:一方面是强化学习在机器人控制系统中的建模方法,另一方面是提升强化学习模型泛化性能的工程化方法。首先,本文从伺服控制建模的角度出发,讨论了强化学习的基本算法框架。一般而言,基于模型的方式进行机器人控制是强化学习首选方法,这种方法先经过环境模型推断获取实际环境的参数化形式,然后利用这个参数化模型进行策略优化。因此这种方法依赖于人工建模,可拓展性不高。为此,本文介绍了一种不依赖于模型而且具备异策略学习能力的策略引导算法。这种算法采用重要性采样的方式,不仅能够在训练过程中引入外部示教数据,而且能够通过历史数据重采样的方式,提升数据利用效率。此外,策略引导算法在实现策略引导过程中能够结合逆向强化学习,对环境模型进行估计。在这种算法框架下,逆向强化学习作为引入人类知识的途径,是一种重要的强化学习方法。因此本文接下来探讨了具有非确定性策略模型以及非线性回报值函数结构的最大熵深度逆向强化学习方法。这种方法增加了强化学习模型的表征能力,能够完成复杂的视觉伺服控制任务。通过引导策略算法和逆向强化学习的结合,虽然能够表征复杂问题,但是因为引入了很多非线性结构,所以模型训练变得很困难。因此,本文接下来介绍了强化学习的工程优化方法。首先,为了降低视觉伺服应用中图像的高维度影响,文中采用了迁移的卷积网络进行状态压缩和特征提取。然后,为了减少强化学习训练样本,文中介绍了仿真环境进行模型预训练的方法,这种方法中利用域随机的方式扩充训练样本,同时提升强化学习模型的泛化性能。最后,完成视觉模型迁移和决策模型的预训练后,利用真实的示教数据对模型进行微调,可以获得较好的实验效果。最后,在上述理论指导下,设计了机器人视觉伺服控制的强化学习系统。并使用ROS搭建了针对Jetson TX1和UR5机器人的学习及控制软件。在这套系统上完成机械臂伸手实验以后,可以发现基于视觉伺服的强化学习方法能够成功完成复杂的视觉任务,而且有很好的适应能力。