机器人是电器或机械实现自动化的应用产物,被誉为“制造业皇冠顶端的明珠”,是衡量一个国家创新能力和产业竞争力的重要标志,已成为全球新一轮科技和产业革命的重要切入点。人工智能是让机器更加智能化、人性化的助推器,人们希望机器人像人类一样,在工作中表现得更加智能,这就需要人工智能重新赋予机器人新的生命。深度学习是人工智发展中重要的里程碑,为机器实现学习提供了更好的方法。如今机器人的目标抓取技术还远远落后于人类的表现,成为目前机器人研究中的一个重要领域和热点。机器人要实现自主抓取,首先机器人需要对环境进行感知,检测目标物体的位置、识别物体的类别、确定抓取目标物体的姿态,才可以规划机器人运动轨迹,并控制机器人实施抓取。本文的工作主要是围绕基于机器人视觉的目标检测与抓取姿态估计问题,结合深度学习理论和技术,研究和实现基于机器视觉的目标物体的检测、识别、定位以及抓取姿态估计。本文的主要工作包括以下三个方面:(1)使用双目摄像机,进行环境感知,获取待抓取物体的图像和深度信息。结合本文数据集和应用的要求,使用基于回归的神经网络模型进行物体检测与识别,并采用迁移学习的方法加快网络的训练过程。通过训练后的神经网络检测物体的位置并识别物体类别,向机器人提供待抓取物体的图像位置坐标和类别信息。(2)利用双目摄像机得到的深度信息转化为点云数据,结合物体检测的图像位置坐标,获取物体相对于相机坐标系的三维坐标,并通过构建物体自身的坐标系,为机器人的抓取提供物体的位姿信息。(3)在物体的二维图像上,制定一种更加适合神经网络训练的抓取姿态标签,采用迁移学习的方式,在大型数据集预训练过的网络基础上,设计了一种更适合机器人抓取姿态估计的网络,并针对本文数据集的特点设计误差函数,判断预测的抓取姿态是否有效。通过实验结果表明本文设计的方法能提高机器人的抓取精度和鲁棒性,使机器人抓取的物体更加多样化,抓取过程更加智能化。