近年来,智能机器人抓取技术的基础研究和产业化发展越来越迅速,它能够代替人类完成高强度工作,在工业分拣、农业采摘等方面具有较高的应用价值。机器人抓取技术已成为目前的一个研究热点。因为完成抓取目标物体的这个任务会受到被抓取物体本身的外形、姿态及其复杂的外界环境的影响,所以很难用传统的公式来计算。过去大多数研究是利用计算机视觉与机器人技术,虽有一定的效果,但是智能化程度还是不高。机器人的抓取操作需要机器人感知环境信息,对获取的传感器信息进行处理,最终决策并完成抓取操作,而深度学习在目标感知方面具有很好的效果,能提升机器人抓取的智能化水平。本课题将深度学习与计算机视觉、机器人技术结合,以物体感知、定位及机器人抓取为研究目标,并围绕机器人运动学,相机标定,手眼标定展开研究。本文的主要研究内容如下:(1)针对机器人运动学,研究分析六自由度机械臂的D-H模型及正、逆运动学解,得到机械臂的控制方法。同时研究了Move It!控制机械臂,使用Action通信方式实现机械臂的控制。(2)研究了深度相机与机械臂构成的机械臂视觉系统的标定问题。采用张正友标定法完成相机标定,使用MATLAB标定工具箱对彩色相机进行标定,使用深度相机自带的标定库完成彩色相机与红外相机之间的位置关系标定,分析重投影误差、畸变,得到相机的内参。构建Eye-to-hand手眼系统,通过识别Ar Uco标签和Tsai手眼标定法完成相机坐标与机械臂基坐标之间的转换。(3)研究了机械臂的视觉检测与定位问题。通过分析模板匹配与深度学习检测物体的方法,最终选用深度学习YOLOV3检测物体。为了降低计算的复杂度,提升目标检测的速度并且能保持高检测精度,对YOLOV3进行两点改进:选用轻量级的Mobile Net网络代替YOLOV3中的Darknet-53网络,使用焦点函数代替传统的交叉熵函数。通过改进的YOLOV3模型检测目标物,得到其在图像中的像素坐标及深度值。(4)在实际环境下,进行目标物检测抓取试验。由改进的YOLOV3检测模型及深度传感器获得目标的像素坐标及深度值,根据坐标系转换得到相机下目标位置,再由手眼标定,将目标位置从相机下转换到机器人下,最终利用机器人逆运动学解,驱动机械臂抓取目标物。