水果采摘机器人因其具有提高水果采摘效率、减轻人工劳动强度以及节省水果收获成本等优点日益成为农业工程领域的研究热点。这其中,适用于多类水果采摘的机器人的开发更是得到了研究人员的广泛关注。然而,在水果采摘过程中,机器人的视觉系统往往易受水果生长环境诸如强度变化的光照、随机的果实表面遮挡等因素的影响,使得其对果实的识别与定位易出现由于果实表面信息缺失或难以识别而造成的遗漏或错误,从而最终导致机器人的水果采摘作业失败。为此,本文以双目立体视觉、光照不变原理、机器学习等理论方法为基础,深入研究非结构环境下多类水果识别与定位的方法。并对多类不同生长形态水果的识别与定位运用软件仿真与硬件试验,意在为多类水果采摘机器人的双目视觉系统提供对非结构环境鲁棒的水果识别与定位方法,从而精确地指导机器人完成水果采摘作业。具体内容如下:(1)针对水果采摘机器人的视觉系统易受非结构环境下变化光照影响的问题,提出了两种水果图像光照均值化模型。一种模型在利用一阶小波变换将水果图像分解成高、低频域的基础上,分别对其进行对比度提升与直方图均值化操作,进而用小波逆变换合成处理后的图像,完成基于小波变换的水果图像光照均值化处理。另一种模型则是利用经典的Retinex算法将视觉系统获取来的水果图像分解为光照图像和反射图像,对反射图像做基于小波变换的光照均值化处理,从而完成基于Retinex-Wavelet的水果图像光照均值化处理。通过考察两种算法在理想图片仿真实验和自然环境下水果图像实验中所得结果的视觉评价指标,可知,这两种方法均适用于水果图像的光照均值化处理。(2)分别构建了适用于近圆形水果和非圆形水果的识别模型。近圆形水果识别模型在利用基于小波变换的光照均值化算法对水果图像进行预处理的基础上,采用基于颜色的K均值聚类和霍夫圆变换(CHT)检测疑似水果果实区域。并用通过果实与非果实的局部二值模式(LBP)特征训练的AdaBoost分类器对疑似果实区域和非果实区域进行错误检测,在合并检测结果后完成近圆形水果的识别。非圆形水果识别模型则是在基于Retinex-Wavelet水果图像光照均值化预处理的基础上,通过用有效颜色分量和六种Tamura纹理特征训练的四种基本分类器识别果实,最后在逻辑与运算合并单个分类器识别的果实后,完成非圆形水果的识别。用这两种方法分别对自然环境下获取的柑橘和葡萄图像进行测试,其识别成功率分别达85.6%和86.86%。(3)在成功地识别了近圆形水果和非圆形水果的基础上,根据自然环境里水果果实的不同生长形态,提出了基于单个果实标签模板的匹配方法和基于聚类果实标签模板的匹配方法。第一种匹配方法在提取单个果实边缘的基础上,利用OPTA算法对边缘细化,将边缘的外接矩形当作果实的标签,并以该矩形的几何中心作为匹配特征点、归一化交叉相关(NCC)函数作为相似度量函数,在右图像中搜索最优匹配窗口。实验结果表明,在不同光照及遮挡情况下,该方法对荔枝果实对的成功匹配率可以达到88.33%。而基于聚类果实标签模板的匹配方法是对基于单个果实标签模板的匹配方法的改进与提高。由于在真实的自然环境里,果实之间的相互遮挡是不可避免的。所以,在提取了单个果实标签后,根据预先定义的果实聚类类型进行标签合并,再按照单个果实标签的匹配方法进行匹配。实验证明,该方法提高了果实的匹配成功率,在不同光照及遮挡情况下,对荔枝果实对的成功匹配率可达93.33%。(4)为验证本文所提出的方法对水果定位的可行性与准确性,设计开发了一套适用于多类水果采摘机器人双目视觉系统目标定位的软件。该软件整合了本文提出的水果图像光照均值化算法、水果识别算法以及水果定位算法。并在所用的双目相机硬件系统的配合下,以激光测距仪测得的数据作为真实值,在野外自然环境里对水果进行实时的定位实验。在对柑橘的实时定位实验中,所考察样本的所有测量值的平均误差均落在±15mm范围内,并且不同情况的T检验分析值均大于0.05,这说明了本文提出的方法是可行的、准确的,在变化的光照及遮挡情况下是鲁棒的。进而说明本文提出的方法可以为多类水果采摘机器人的采摘作业提供视觉依据。