果实采摘机器人和水果分拣机可实现采摘工作和分拣工作的自动化,能够很好的解决水果产业劳动力不足、人工作业成本高且效率低、果品竞争力差等问题。研发采摘机器人和分拣机的重点和难点在视觉系统,它们的工作效率和稳定性取决于其对果实识别的速度和准确率,因此,研究能够在果园复杂环境下精确检测定位树上果实以及能够在分拣生产线环境下分类不同外观品质果实的视觉系统,对实现自动采摘、产量估计以及自动分拣具有重要研究价值和现实意义。本文以苹果为研究对象,基于深度学习和双目视觉技术,对采后果实自动分级技术以及采摘机器人果实检测定位技术进行了研究。主要研究工作与成果如下:1.果实检测方法研究。为使采摘机器人能够全天候的在不同光照、重叠遮挡、大视场等果园复杂环境下对不同成熟度的果实进行快速、准确的识别,该研究提出了一种基于改进YOLOv3的果实识别方法。首先,将Dark Net53网络中的残差模块与CSPNet（Cross Stage Paritial Network）结合,在保持检测精度的同时,降低网络的计算量;其次,在原始YOLOv3模型的检测网络中加入SPP（Spatial Pyramid Pooling）模块,将果实的全局和局部特征进行融合,提高对极小果实目标的召回率;同时,采用Soft NMS（Soft Non-Maximum Suppression）算法取代传统NMS（Non-Maximum Suppression）算法,增强对重叠遮挡果实的识别能力;最后,采用基于Focal Loss和CIo U Loss的联合损失函数,对模型进行优化,提高识别精度。以苹果为例进行的试验结果表明:经过数据集训练之后的改进模型,在测试集下的MAP（Mean Average Precision）值达到96.3%,较原模型提高了3.8个百分点;F1值达到91.8%,较原模型提高了3.8个百分点;在GPU下的平均检测速度达到27.8帧/s,较原模型提高了5.6帧/s。与Faster RCNN、RetinaNet等几种目前先进的检测方法进行比较并在不同数目、不同光照情况下的对比试验结果表明,该方法具有极高的检测精度及优秀的鲁棒性和实时性,在果园环境下解决果实的精准识别问题具有重要实用价值。2.果实三维定位方法研究。在利用目标检测算法得到果实采摘中心点的二维坐标之后,为了进一步获得果实采摘点的深度信息,使用了双目立体视觉技术,使用张氏标定法标定双目相机,确定其数学模型,对采集到的图像进行立体校正,并将校正后的左目图像和右目图像利用SGBM立体匹配算法进行立体匹配,最终通过视差计算获取果实采摘中心点的三维坐标。试验结果表明:利用该视觉系统获得的三维坐标,在深度方向上的平均定位误差为±15mm,满足实际采摘需求。3.果品分类方法研究。为了实现对采摘后的果实进行快速、精确的外观品质分类,并配合分拣生产线完成果实大规模集中分拣,该研究提出了一种基于改进ResNet的果实分类方法。首先,将ResNet网络中的残差模块与双通道SE（Squeeze-and-Excitation）模块结合,增强有效的通道特征并抑制低效或无效的通道特征,提高特征图的表达能力,从而提升识别精度;其次,在原始ResNet模型中加入Inception模块,将果实不同尺度的特征进行融合,增强对较小缺陷的识别能力;最后,对收集到的4类不同外观品质的果实图像进行数据增强并利用迁移学习方法对模型进行初始化。以苹果为例进行的试验结果表明:经过数据集训练之后的改进模型,在测试集下的准确率达到99.7%,高于原模型的98.5%;精确率达到99.7%,高于原模型的98.3%;召回率达到99.7%,高于原模型的98.7%;在GPU下的平均检测速度达到32.3帧/s,与原模型基本持平。与GoogleNet、MobileNet等几种目前先进的分类方法进行比较并对不同改进模型进行对比试验的结果表明,该方法具有优异的分类精度及良好的鲁棒性和实时性,对解决果实外观品质的精准分级问题具有重要实用价值。4.果实检测定位与分类系统软件设计与实现。基于PyQt5和Qt Designer设计了果园复杂环境下苹果采摘机器人苹果检测与定位软件及自动分拣生产线环境下苹果外观品质分类软件,实现了苹果的精准检测定位和外观品质分类。