对于工作在太空、深海等环境中的机器人系统，由于空间作业环境的复杂多变性和当前智能技术发展的限制，依靠机器人系统自主地完成任务在目前是很难实现的，必须依靠人通过远距离操作的方式参与机器人编程规划，即本地的操作者远距离操作相关设备实现远端机器人系统的控制作业。作为一种自然、直观的人机交互手段，手势控制有它特有的优势，本文正是采用这种直观的方法作为远距离控制机器人作业的一种输入手段。手势的自然直观、易于学习的优点运用到机器人的位置姿态确定上可以使机器人控制操作更加直观自然，对操作者更友好。本文使用微软KINECT摄像头作为手部图像获取设备，采用6自由度模块化机器人作为被控端。重点对机器人的模型建模，手部提取和识别，手势控制空间和机械臂运动空间的动态匹配，机器人运动的正反解推理以及机器人稳定控制等方面进行分析和研究。手部图像分割和手势获取使用的是KINECT摄像头，并通过所得到的深度图像进行图像分割和提取处理获得手势数据；对于机器人模型建模，本文参考D-H模型和已有6自由度模块化机器人的特殊构造进行机器人建模，构造机器人运动学方程，同时借助matlab对受控端的机器人的运动学方程进行化简并硬编码到程序中；对于机器人运动空间与手势输入的运动空间的映射使用的是动态映射方法，通过动态映射方法重复利用相同的控制空间能将手势空间较好地映射到被控机器人的运动空间中；在机器人的逆运动学控制上，参考牛顿迭代的方法，采用建模获得的相关参数方程进行迭代等操作获得结果；在机器人的稳定控制上，本文使用状态机的机制，对机器人所处的稳定状态进行分类控制。还对机器人运动作出限制来控制其稳定性。本文研究的目的是开发出一套具备手势识别和机器人控制一体的控制系统。对手势的位姿进行识别，从而确定机器人末端的姿态和位置。而使用自主开发的，经过优化的反解算法来控制机器人关节的运动，使机器人向预定的位置以规定的姿态运动。