为了使机器人能够工作在动态变化的环境中，代替人类从事各种危险的工作，必须提高机器人的感知能力，提高机器人感知能力的方法是：给机器人配置各种各样的传感器，例如，力传感器、触觉传感器、接近觉传感器、距离传感器和视觉传感器。 对于自治机器人来说，视觉传感器起着非常重要的作用，它能够无接触地测量环境的变化，为机器人提供丰富的环境信息，辅助以其它传感器的信息，机器人能够进行决策，并执行相应的操作，完成指定的作业任务。在传统方式中，视觉传感器工作在开环的系统中，对目标物体的位置和方位(即，姿态)进行测量，机器人根据测得的姿态对目标物体进行操作，其精度完全依赖于视觉系统的精度和机器人本体的精度，当目标物体做未知运动时，机器人的操作就会失败。将视觉传感器加入到机器人控制回路中形成闭环控制，利用视觉信息控制机器人本体(例如，车辆、飞行器和潜水器)或机械手末端执行器相对于目标物体的位置和方位，就是所谓的视觉伺服控制。视觉伺服以视觉信息引导机器人完成对物体的跟踪、抓取和装配等作业任务，提高了机器人的操作精度和机器人的自治能力。 根据视觉信息在控制回路中的作用方式可以将视觉伺服分为基于位置的视觉伺服、基于图像的视觉伺服和2.5D视觉伺服；根据摄像机的安装位置，可以将机械手视觉伺服控制分为Eye-in-hand和Eye-to-Hand(也称为stand alone)配置下的视觉伺服控制；根据摄像机的数目可以将其分为：单目、双目和多目配置下的视觉伺服控制。 本文提出了一种新的基于多摄像机的机械手视觉伺服系统结构，其视觉系统由双目立体视觉和单目Eye-in-Hand组成，双目立体视觉系统安装在能够进行pan／tilt运动的云台上，当双目立体视觉系统用于跟踪运动物体时，就构成了类似于双目Eye-in-Hand配置的两关节机械手视觉伺服系统；当双目立体视觉系统用于机械手的视觉伺服控制时，构成了双目Eye-to-Hand配置的机械手视觉伺服系统；当机械手处于目标物体上方对其进行定位、跟踪和抓取等作业任务时，主要依靠单目Eye-in-Hand视觉系统对机械手进行视觉伺服控制。因此，本文分别对单目Eye-in-Hand、双目