面向现代仓储物流与工业自动化生产中机械手对工件随机抓取的需求,同时随着深度相机的广泛应用,三维点云逐步走进人们的视野中。点云识别是三维目标中识别定位的重要技术手段之一,更是工业机械手进行分拣、喷涂等任务的重要前提。本文课题为东莞理工学院实验室自拟课题,课题为机械手抓取工程项目中对工件点云的识别,以提供工件类别与位姿信息给机械手进行抓取任务。目前在实验室对课题进行实际简单无遮挡场景（工件表面遮挡率为0%）与复杂遮挡场景（工件表面遮挡率为30%）的工件点云识别,其中以基于点云全局特征对工件点云进行识别,其识别率（正确识别帧数与总识别帧数之比）为80.6%（简单场景）与19.3%（复杂场景）,而识别耗时（每帧识别平均耗时）为466ms;以基于点云局部特征对工件点云进行识别,则识别率为93.2%（简单场景）与85.4%（复杂场景）,识别耗时为1836ms。以基于点云全局特征识别具有实时性好、识别率较低且识别率受物体表面遮挡影响的特点;而以基于点云局部特征识别,具有识别率较高且识别率不受物体表面遮挡影响,实时性较差的特点。但两者识别方法均无法满足实际工程中对工件识别率为90%以上（简单场景）与85%以上（复杂场景）,同时识别耗时在500ms以下的需求。因此,本文从工件点云识别中,高的实时性与高的识别率无法同时兼得的问题,根源在于利用单一点云特征方法无法满足实际工程中对物体识别实时性以及识别率要求。同时受卷积神经网络对图像识别具有速度快准确率高等优点的启发,对文献如:室内环境中三维物体识别技术的研究、复杂三维点云场景中的目标识别方法研究等文献展开研究,本文提出了一种结合图像与点云局部特征的物体识别方案,主要研究内容如下:针对物体点云识别中高的实时性与高的识别率无法同时兼得的问题,本文提出了一种结合Mobile Net V2网络与Fast Point Feature Histograms（FPFH）局部特征的物体识别方案。通过分析Kinect2.0相机To F模块的测距原理,计算空间点云与深度图像与彩色图像三者之间的变换关系,以此实现点云降维图像方式来建立图像模型库。以基于Mobile Net V2网络改进对模型库的初识别,提高对模型库识别的实时性,并通过对网络改进最后连接层以训练微调来解决样本数据不足的问题,防止训练过拟合以提高获取物体类别的准确率。对初识别成功的类别,采用改进ICP算法对成功识别的类别点云FPFH局部特征进行精准识别,对传统ICP改进初始矩阵初值获取、增加以局部特征点为搜索点对、剔除错误匹配点对,提高物体识别定位的准确率。以实现对物体识别中高的实时性与识别率兼得的需求。最后,针对于本文方案,对实际场景进行了实验测试与结果分析。首先基于kinect2.0获取10类物体点云重建并添加点云模型库,对点云预处理误差进行了分析,获得物体识别的最佳模型样本,最后通过对获取200-600帧无复杂遮挡和复杂遮挡场景点云进行工件识别。实验表明,在无遮挡场景上,其识别成功率本文方案为97.6%,优于全局特征方法17%,优于局部特征方法为4.4%;而处于复杂遮挡场景上,其识别成功率本文方案为87.2%,优于全局特征方法67.9%,优于局部特征方法为1.8%。而在识别实时性上本文方案为402ms,优于全局特征方法64ms,优于局部特征方法为1434ms。因此,验证了本文方案在实际工程场景物体识别中高的实时性与高的识别率同时兼得,并且本文方案相对于以点云全局特征或局部特征识别的方法在识别实时性与识别率上满足了实际工程中对工件识别率为90%以上（简单场景）与85%以上（复杂场景）,同时识别耗时在500ms以下的需求,验证了本文方案在实际场景的适用性及有效性。