柑橘是我国大规模种植的农产品之一,是农业经济发展的重要支柱。但是,当前柑橘的采摘作业主要依靠人力完成,作业人员劳动强度大、生产成本高、生产率低。因此,研发智能化水平较高的采摘机器人代替人工作业,将人从复杂的农业生产中解放出来具有非常重要的意义。视觉识别系统能准确识别定位柑橘果实及障碍物信息获取(完成柑橘果实以及周围障碍物信息的获取),是保证机器人成功采摘的关键。本文主要针对自然环境下柑橘采摘机器人的目标识别与定位方法进行了以下几个方面的研究:(1)根据RGB、HSV、Lab等颜色空间特性,选取合理的颜色空间。针对相机采集的原图像存在噪声干扰等问题,通过分析噪声特性,选择图像增强、中值滤波对图像进行了预处理,减少了噪声干扰,增大了图像对比度。(2)针对自然环境下柑橘多目标分类识别的问题,采用深度卷积神经网络物体检测算法,对柑橘进行识别定位及障碍物类型判断。分析自然环境柑橘的颜色特征及纹理特征,提出了基于区域特征的SVM分割方法获取柑橘果实区域,并采用最小二乘法对分割区域进行椭圆拟合还原真实柑橘果实,获取采摘中心点。实验结果表明:柑橘果实识别准确率为86%,树枝障碍物分类准确率59.5%,柑橘果实误差率为7.2%。(3)对柑橘果实的三维空间定位方法的进行了研究,对双目摄像机进行标定获得左右相机的内部参数和外部参数,对左右相机进行立体标定获取左右相机的空间位置关系矩阵。采用深度卷积神经网络物体检测算法检测出左右图像中的柑橘区域,计算平均区域,作为匹配基元;通过实验选择准确率达到98.5%的MAD作为匹配度量函数;通过立体校正,将左右图像的行像素保持在同一水平位置,添加水平方向极线约束,并将左右图像检测出的区域大小、类别作为约束条件,缩短匹配时间,提高匹配精度。实验结果表明:x,y,z轴定位的平均误差率分别为4.32%,3.86%,2.85%,平均误差大小分别2.88mm、1.946mm、1.55mm。(4)采用固定手眼标定法,获取相机坐标系与机械臂坐标系的转换关系,并将相机获取的三维空间坐标转换到机械臂坐标系中的三维坐标,为采摘机器人提供采摘的目标点。搭建柑橘采摘实验环境,验证采摘机器人视觉系统的柑橘识别、障碍物分类、三维空间定位及坐标转换的准确性和有效性。实验结果表明:本课题组的柑橘采摘机器人采摘成功率80%。障碍物成功避障率达到60%。