机器人抓取技术的研究一直是各界的热点问题,由最初的通过机器人示教编程来实现对固定位置及固定种类的工件进行抓取,到后来逐渐通过视觉系统来定位工件。传统的识别与抓取技术尤其是在工业中,主要通过机器视觉方式即通过相机能够获得工件图片之后运用图像处理技术来获得工件的轮廓尺寸,之后再得到工件法线与基准法线的偏转角以此来获得位姿。这种方式需要工件种类及形状固定,如果突然出现异形工件则系统可能会产生错误。而近年来随着深度学习技术的迅猛发展,将深度学习技术应用于机器人的识别抓取中可以大大提高机器人的智能性以及减少维护人员的工作量。在此背景下,本文将图像识别技术与点云技术结合来完成对工件的识别与定位,进而完成识别与抓取任务。本文主要基于Faster-RCNN来完成物体识别,之后通过点云来获得目标物体的位姿。整体思路是首先通过Kinect相机来获取目标物体的彩色图像以及深度图像。之后,彩色图像送入到已经训练完的识别网络中进行物体识别。同时框出物体在图像中范围大小。此时,在深度图像中取出相同位置相同范围大小的深度数据,将此深度数据转化为点云数据并与已标定的相应物体的模型点云进行配准。获得的配准数据即为待抓取物体相对于基准模型点云的位姿信息。将此位姿信息传送给机器人,机器人根据相关数据做出相应的轨迹规划来完成抓取。识别网络模型的训练部分,通过改造ZFNet网络来搭建识别网络。保留ZFNet网络全连接层之前特征提取部分。应用已训练的特征提取参数可以简化训练时间,然后根据自己的数据集来创建两层全连接层。同时,由于Faster-RCNN采用RPN网络来生成提取框。所以,RPN网络也需要通过数据集训练。RPN网络会根据特征提取部分的特征图来输出两组结果,一组用于区分图片中的特征是前景还是背景,另一组结果用于对提取框的回归。整体网络搭建并训练完成之后通过对目标物体进行识别测试,网络综合识别准率可以达到93%。同时选取几类形状与训练集中的物体相似但未在训练集中出现的物体进行网络的泛化能力测试,网络的综合识别率在68.3%。点云配准部分有两部分组成。一部分是基准点云模型的制作,此部分是将待识别物体的模型放在视图中心处进行点云提取并同时制作相应的标签。此时的机器人手臂位置要固定,这样完成基准模型与机器人手臂的绑定。之后是将待抓取物体任意放入相机视窗内的任意位置,通过之前识别部分的结果进行点云提取,然后通过ICP点云配准方法来获得待抓取物体相对于基准模型的位姿信息。机器人抓取部分。通过前两部分的处理得到待抓取物体的位姿信息数据。机器人根据相应的位姿数据来进行轨迹规划从而得到从起始点位置到终止位置点间各个过渡位置点。实现机器人机械臂的精确移动。同时,这部分还需要应用socket通信协议,此协议用于将电脑处理之后位姿数据送给机器人控制器。同时也接收由控制器反馈回给电脑的信息。在识别之后完成抓取的过程中,通过与人工示教的方法进行位置点对比,本研究采用的方法相对于人工示教方法的综合误差范围在2-6mm之间。可以符合工程上的应用。本文提出的基于Faster-RCNN的物体识别与抓取方法。首先识别出工件种类及在图像中的位置,然后在通过运用相应位置的深度数据形成的点云数据来完成配准,获得的位姿信息传送到机器人后完成相应的抓取任务。此方法将识别、定位、运动规划等技术融合来实现目标任务,能够发挥各自的技术优势及特点,增强了系统的鲁棒性及稳定性。