苹果检测是苹果采摘机器人视觉系统中的关键环节,光照、枝叶遮挡或多果实重叠等复杂环境的存在,导致苹果采摘机器人不能迅速、精确地定位目标,影响采摘任务的执行。因此,复杂环境下对苹果的有效检测,对提高苹果采摘机器人采摘效率、促进苹果产业发展具有重要意义。随着深度学习特别是深度卷积神经网络在图像处理领域的应用,在复杂环境下对苹果进行精准检测已经成为可能。相较于浅层机器学习进行目标检测时只能提取初级或者中级的特征(如纹理特征、边缘特征等),深度学习(特别是深度卷积神经网络)可以直接提取目标的本质特征。因此,本文开展基于深度学习的复杂环境下苹果检测与定位技术研究,取得的主要成果如下:(1)针对传统图像分割方法和基于深度学习方法中Faster RCNN、YOLOv3等网络的不足,提出了对复杂环境下苹果进行检测的基于改进的Mask RCNN方法。该方法在原始Mask RCNN网络的基础上加入边界加权损失函数,解决苹果边界分割结果不准确的问题,同时对苹果的外观进行预分类并获取苹果中心点坐标。通过与其他苹果检测算法在复杂环境下进行对比实验,结果表明,改进Mask RCNN网络的F1值和分割效果均高于其他算法,能对复杂环境下的苹果进行精确检测。(2)通过标定双目相机获取左右相机内参矩阵、畸变系数和右相机相对于左相机的偏移量和旋转量,进行中心点匹配,利用双目视觉原理获取苹果中心点三维坐标,实现利用双目视觉系统对苹果中心点进行三维空间定位。(3)在VGG-16网络的基础上加入批归一化层,采用全局平均池化和联合损失函数的方法对其进行结构优化,提出改进的VGGNet模型对采摘后苹果进行外观分类。在经过数据增广的数据集上进行训练,完成对外观正常、病斑和腐烂苹果的分类。实验结果表明,分类准确率均高于未改进VGG-16、Alex Net和Goog Le Net算法,能够对采摘后苹果外观进行准确分类。(4)基于Pycharm、Py Qt和Qt Designer设计了复杂环境下苹果采摘机器人苹果检测软件模块,实现了复杂环境下的苹果检测定位和苹果外观分类。