人工智能技术飞速发展,机器人作为人工智能的最直接的应用体现,在工业、农业、医疗、航天等众多领域发挥重要的作用。机器人的操作能力是其智能化的重要体现,然而在非结构化的环境中,面对复杂的场景,机器人难以自主决策,尤其对于高自由度的灵巧机械手,自主规划更加困难,需要人类的经验进行示教学习。传统方法使用数据手套或穿戴式的传感器获得人手运动参数,然而设备系统较为笨重,影响人手的自然运动。为获得直观自然的人手动作姿态,本文采用基于视觉的非接触式方法,通过RGBD相机拍摄人手动作,基于深度学习的方法进行人手姿态预测,将人手姿态与灵巧机械手姿态进行映射,使机械手能够模仿人手的灵活动作,从而实现灵巧机械手的人机协同操控。本文主要研究工作如下:(1)针对基于视觉的手部姿态检测问题,提出了一种新颖的轻量级的分支融合网络结构,根据手部形状结构以及手指功能重要性的差异,将手部分为大拇指、食指和其余手指,使用三个平行的分支子网络分别对这三个手部分区进行特征学习,最后通过分支特征的级联融合,以及低维嵌入层引入的手部整体约束,进行手部所有关节的3D位置预测,在三个公共的手部姿态检测的数据集上进行实验验证,本文的分支融合网络能够使用更少的训练数据,在获得较高检测精度的同时保证更快的检测速率。(2)设计并实现了完整的人机协同控制系统,在Simox机器人仿真平台和实际Shadow Hand机械手平台进行实验验证。整体流程分为实时图像采集与预处理,手部姿态检测,人机手部姿态映射,人机协同机械手控制四个主要模块。根据手部关节的物理结构,通过运动学逆解得到人的手部关节角度,将人手的关节角度与灵巧机械手一一对应,从而对灵巧机械手进行控制,使其能够模仿人手完成灵活的手势动作,实现基于视觉的灵巧机械手的人机协同控制。(3)针对手部与物体交互时的手部姿态检测问题,本文在分支融合网络的基础上设计了一个新颖的手部姿态检测网络,通过并行交叉融合残差模块提取丰富的全局深度特征,使用多模态特征融合模块将彩色图像的高级语义特征与深度图像的低级空间特征结合,通过分支特征的并行干扰消除模块得到更为纯净的分支特征,在交互遮挡的环境下,预测得到手与未知物体交互时的手部关节的3D位置。