灵巧手操作是极具挑战的机器人控制任务之一,并且至今仍存在大量问题尚未解决。本文针对机器人灵巧手操作中抓取任务,以实际Baxter机器人为平台,实现了一套完整的抓取控制系统,能够高效、自适应的控制机械臂到达指定目标位置和跟随指定关节位置轨迹两个目标,并进行实验验证。本文主要的工作有如下几个方面。针对抓取场景下目标跟踪问题,完成引入结构化约束的跟踪算法设计。跟踪算法作为控制系统在运行时的辅助模块,为控制系统提供的目标定位以及目标形态信息。改进后视觉跟踪算法,提升了机器人操作场景中,快速移动、光照变化、形变等问题的跟踪效果。算法结合TLD算法框架,利用提出的交叉骨架模型和软分割模型,开拓被跟踪目标的结构信息和外貌信息。跟踪算法测试于权威数据视觉跟踪数据库,对比近年优秀的跟踪器,并获得了不错的成绩。针对直接训练神经网络策略样本需求量大的问题,利用构建局部控制器结合监督学习技术训练神经网络策略。本文将操作任务划分为数个简单状态,在简单状态下,利用基于模型的传统控制算法或高效的增强学习算法,完成局部控制器的训练。在得到能够在各自独立的简单状态下完成任务的局部控制器后,利用成熟的监督学习技术,将多个局部控制器整合训练为一个全局策略。全局策略保证机器人能够以统一的控制器完成整个操作任务,而非机器人在每个状态下使用不同的控制器完成任务。本文第三个重要工作就是以实际Baxter机器人为平台,实现实际的抓取控制系统。控制算法的仿真实现往往较为容易,而从仿真到现实世界则存在一条巨大的鸿沟。因为在仿真环境中,可以忽略现实世界中各种干扰因素,例如数据采集时的测量误差、系统误差、执行器执行精度、控制系统的模型差异、采样的成本等。此外,真实系统上需要一套完整的系统提供算法运行的基础。上述任一问题未能处理得当,都足以使得整个算法在实际系统中失败。本文最后,在实际抓取控制系统中完成两组控制任务实验验证。分别对局部控制器和全局策略进行测试,不同次数迭代的执行误差,以实验结果来证实整个系统的可用性。实验数据也充分展示了,控制系统的可靠性,为数不多的迭代次数下,即可获得较为理想的执行结果。