将机器视觉技术应用于果实产量估计以及果蔬采摘机器人的对象识别,能大幅减少种植管理过程中的人工操作,降低劳动强度,节约用工成本,有助于实现果园管理的自动化、智能化。早期估产的对象是未成熟的绿色果实,而采摘机器人在整个采摘作业过程中,要解决的主要问题和难点是对果实的自动检测和定位,采摘机器人的作业对象也不乏香梨、青苹果等绿色水果。果实本身呈现绿色,与叶片、杂草颜色相近,自然环境下采集的果实图像存在光照不均、背景复杂、枝叶遮挡,果实重叠等问题,因此,如何实现近色背景下绿色果实的准确识别是一个亟待解决的关键问题。本文以未成熟桃子、番茄、柿子、柑橘为研究对象,分别采用传统特征提取方法和基于卷积神经网络的深度学习方法,提出自然场景下绿色果实的检测方法,并设计了果实识别视觉系统,为果蔬早期估产和后续开发采摘机器人奠定了理论基础和技术支持。论文主要研究工作如下:(1)未成熟绿色果实图像数据集的建立。实地采集桃子、番茄、柿子、柑橘共4种果实的图像,包括顺光、逆光、侧光、遮挡、重叠等场景。为进一步增强数据集的多样性,避免过拟合,采用水平镜像翻转、限制对比度自适应直方图均衡化(contrast limited adaptive histogram equalization,CLAHE)、主成分分析(principal component analysis,PCA Jittering)3种方法进行数据扩增。(2)基于改进DRFI算法的绿色桃子识别。不同于与背景颜色存在明显差异的红色、黄色水果,未成熟绿色桃子的颜色与背景高度相似,单独用颜色特征无法进行区分。提出用绿色桃子特有的颜色、纹理、形状特征代替判别区域特征融合(discriminative regional feature integration,DRFI)算法采用的部分特征,同时对相应的参数进行调整,以更适用于计算未成熟绿色桃子的显著图;采用固定阈值对DRFI显著图进行分割,减少了显著图中背景区域的误分割;针对分割后仍存在的果实相互粘连的情况,通过控制标记符和距离变换相结合的分水岭分割算法将其分割开。试验结果表明:该方法在测试集中的准确识别率为83.2%,误检率为8.7%,漏检率为16.8%,较有效地解决了颜色相近和遮挡重叠问题。(3)基于YOLOv3的绿色果实识别。YOLOv3(you only look once version3)算法利用卷积神经网络提取目标特征后直接进行分类,并预测出图像中目标所在的位置,准确率高、检测速度快。本文以GIoU(generalized intersection over union)损失作为YOLOv3的坐标损失,优化目标的定位结果。在训练时,首先对数据集进行K-means聚类分析,以生成合适尺寸的先验框,其次,运用迁移学习的方法将修改损失函数后的YOLOv3网络模型——YOLOv3-L应用于未成熟绿色桃子、番茄、柿子、柑橘4种果实的识别,并检测算法在不同果园桃子数据集、温室与自然环境番茄数据集上的性能。试验结果表明:在同一桃子图像测试集上,YOLOv3-L的正确识别率为98.0%,误检率为1.0%,漏检率为2.0%,识别效果优于改进DRFI结合分水岭的方法;YOLOv3-L用于检测桃子图像集的平均精度均值(mean average precision,mAP)为92.71%,番茄图像集的mAP为93.98%,柿子图像集的mAP为84.51%,柑橘图像集的m AP为79.00%,表明YOLOv3网络检测精度高,通用性强。不同果园桃子图像集、温室和自然环境番茄图像集试验的结果表明:YOLOv3目标检测网络具有良好的泛化能力;一般来说,样本量更大、多样性更好的数据集训练出来的模型泛化能力越强。(4)果实识别系统设计与实现。为了方便农场种植者、管理者等实际用户的使用,本文通过PyQt5、TensorFlow和OpenCV设计开发了一款近色背景下绿色果实识别软件系统,该可视化系统包括图像载入、模型选择、结果显示,果实数目统计等功能,操作者只需简单点击几个按钮,便能清楚直观地了解到果实识别的情况。