成熟果实收获作为果实生产作业的首要任务之一,研发一款智能采摘机器人有利于缩短采摘时间、降低采摘成本、减小人工劳动强度,与此同时,对于促进我国农业由机械化向高度自动化和智能化迈进有着重要的现实意义。本文以课题组自行研发的柑橘采摘机器人作为试验平台,旨在通过研究自然场景下成熟柑橘果实的分类识别与定位方法,使其具有自主感知和收获能力,以此提升采摘机器人的智能化程度。主要研究内容如下:1)基于RGB-D相机的视觉系统搭建与样本采集。分析对比了现有的三种采用不同原理的深度相机,结合课题实际要求,综合考虑了双目立体视觉、结构光以及飞行时间的优劣势,最终选择了基于TOF原理的Kinect v2深度相机,并对其进行视场角和深度误差等进行了分析,获取相机最佳工作距离保证视觉系统的精度和稳定性的同时,综合相机最佳工作距离与柑橘采摘机器人的采摘距离确定了采集样本的拍摄距离范围,在此距离范围内通过在不同时间段采集不同光照角度下的柑橘图像,以保证训练样本具有良好的泛化性。2)成熟柑橘果实分类识别模型构建及改进。结合采摘机器人的实际采摘需求,根据果实的生长分布情况及遮挡关系对果实进行了不同类型的划分,在此基础上制作了单果无遮挡、单果树叶遮挡、单果树枝遮挡、单果枝叶混合遮挡以及重叠无遮挡、重叠树叶遮挡、重叠树枝遮挡以及重叠枝叶混合遮挡8种类型的柑橘训练数据集,与此同时,构建了以Darknet53为特征提取网络的YOLO v3分类识别模型,通过对模型预测边框的输出进行分析,基于分析结果对识别模型的网络结构进行了相应的改进,增加了网络的输出和改进网络的损失函数,试验结果表明:改进后的模型对于不同类型的柑橘果实平均识别准确率达86.42%,相较于改进前的82.56%提升了3.86%,检测速度从改进前的26.37fps提升到30.23fps。3)不同类型柑橘果实三维空间定位。通过改进后的识别模型对不同遮挡状态的柑橘果实进行分类识别,利用彩色图像与深度图像之间的映射关系完成彩色图像和深度图像的配准,在此基础上,根据相机像素坐标系与世界坐标系之间的转换关系获取柑橘果实采摘点的三维坐标信息以及果实的横径和纵径,完成对不同类型柑橘的三维空间定位。试验结果表明:在x轴方向上的平均定位误差为2.51mm、在y轴方向上的平均定位误差为2.71mm、在z轴方向上的平均定位误差为3.35 mm,在机器人工作范围内柑橘横径测量的平均误差为2.43mm,纵径测量的平均误差为2.41mm,满足机器人的实际采摘需求。4)柑橘采摘机器人果实目标分类识别与定位系统开发及应用。在Linux系统下以Qt5.10作为软件编译平台,在Opencv4.0图像处理库中对相关识别与定位算法进行了集成,完成了视觉系统的开发和软件界面的设计,实现了柑橘采摘机器人视觉系统的界面式的操作,利用搭载该系统的柑橘采摘机器人在户外进行了多组采摘试验,以验证该系统的实用性和稳定性。