机器人是提升产业智能化转型的重要装备,如何通过机器人与外部传感器的信息融合提高机器人自主运动、决策能力是机器人研究领域的热点。抓取是机器人常见的一种任务,多数情况下是根据抓取工作环境以及抓取物体的不同,对机器人进行人工示教编程来实现重复轨迹的抓取任务。但是这种方式由于缺少一定的信息反馈,机械臂在抓取过程中很难与周围的环境产生交互,因此当面对动态抓取任务时很难顺利完成。本文在协作机器人早餐制作平台这一环境下,研究机械臂在复杂的运动环境下动态抓取问题,将深度相机集成于机械臂上,以深度相机获取的环境、抓取目标信息作为机械臂运动的主要依据,机器人控制系统对视觉信息进行处理,同时根据机械臂各关节运动状态对机械臂运动轨迹进行规划,形成具有自主避障、识别、定位的手眼协同的机械臂设计。主要研究内容及成果如下:（1）对基于手眼协同的协作机械臂系统进行整体设计。包括对视觉模块中深度相机的参数分析选择、抓取机械臂的运动特性及开发优势的研究、末端工具的设计、硬件连接方式和控制方案的设计等。硬件方面以Real Sense D435i深度相机集成于AUBOi5协作机械臂为主要信息采集单元,对于深度相机的内参及畸变参数,通过在机器人操作平台（ROS）中使用标定算法进行标定,并基于深度相机与机械臂末端的安装位置关系,在ROS中完成手眼标定,计算出相机坐标系与末端工具坐标系之间的平移矩阵和旋转矩阵。在机械臂末端配套快换末端工具夹爪、吸盘为执行单元,以基于linux的ROS系统和机械臂控制柜的信息处理与运动控制的系统方案,作为后续研究工作的基础。（2）对机械臂工作环境的地图建立方法及路径规划算法进行了研究。通过ROS系统对深度相机采集的彩色图像和深度图像进行处理匹配合成点云地图,并进一步对点云数据进行滤波去除干扰点和孤立点优化点云数据,保留机械臂工作空间范围内的点云数据。根据滤波后的点云数据进行数据压缩和转化形成具有拓扑信息的八叉树地图,完成对协作机械臂早餐制作平台障碍物的位置信息的地图建立。在此基础上,对协作机械臂碰撞模型的处理方法进行研究,根据实验平台特点以及抓取的需求进行改进,确立采用球体+轴向+方向的包围盒法对机械臂模型进行包络。为了使机械臂在运动过程中有效地避开障碍物,通过对原有的路径规划算法进行改进,将人工势场与RRT路径规划算法进行融合并对局部扩展最小值的问题进行优化,通过Matlab与Rvize仿真平台进行验证得到改进算法的有效性。（3）对物体识别与定位问题进行研究。通过对比不同图像检测算法在速度、准确性、稳定性方面的特点选择YOLO算法作为物体识别的检测方法,结合协作机械臂早餐制作平台抓取物体所在位置情况,对抓取物体图像进行裁剪、旋转后进行标注、训练保证了机械臂在抓取过程中对物体识别的稳定性及准确率。在此基础上针对机械臂姿态对图片采集信息及定位的干扰问题,研究基于手眼协同的视觉伺服抓取控制技术,在局部抓取方面采用基于位置信息反馈的闭环控制策略提升了抓取的准确度。在协作机械臂早餐制备平台上,结合路径规划及抓取技术的研究将深度相机对物体的识别、定位与机械臂关节运动控制的融合,进行真实环境的早餐抓取实验,验证研究内容的可行性。