我国水果产量逐年增加，而农村劳动力却日益短缺，各种农业机器人的研发已经广泛开展，本课题研究的是采摘机器人视觉系统。视觉系统是采摘机器人的核心部分，只有对目标进行准确识别，才能进行下一步操作。但是，由于采摘机器人的作业环境是自然环境，作业对象是自然形态，所以光照条件和目标尺寸都有很大的不确定性，这些因素都会增加视觉识别的难度。目前，关于苹果采摘机器人我国虽然进行的研究较多，但是多数研究仍然是实验室阶段，还未有能够进入果园环境进行收获果实的产品出现，视觉是限制采摘机器人走向实际应用的瓶颈之一。本文以成熟的红色苹果作为研究对象，通过对多种边缘检测方法进行分析，最终采用Canny边缘检测方法检测果实边缘。提出了改变背景颜色的Canny边缘检测方法，分别用Canny方法和连通域方法检测果实边缘，对检测到的边缘进行圆拟合，分析两方法各自的圆心误差。得出Canny方法的平均圆心误差低于连通域方法。同时本文也以苹果树枝干作为研究对象，研究枝干的色差提取方法，并提出了一种新的分割枝干图像的方法，该方法利用最小二乘法计算R、G、B三个通道之间的色差关系，形成阈值分割标准，提出修正参数快速调节阈值。通过实验证明，该方法对枝干形状提取的准确度在80%左右。针对色差法提取的枝干图像含有孔洞、毛刺和背景杂质的问题，本文针对枝干图像和遮挡苹果图像分别提出了各自的形态学处理流程，并针对枝干二值形状提取和果实圆心误差分析进行实验。对于枝干图像，可将形状提取的准确度提升至90%。对于遮挡苹果图像，实验发现，中心遮挡的修补效果要优于单侧遮挡的修补效果，对于果实圆心误差修正率，前者高于后者8%。为了确定枝干所在位置，本文研究了枝干图像的骨架提取方法，选用细化方法提取枝干骨架，制作细化模板，并将细化方案分为8类进行分析。设计了规则形态骨架提取、自然形态骨架提取和枝干骨架提取三个层次的实验，根据实验结果修正模板数据，最终得出了能够正确提取枝干图像骨架的细化模板。本研究为枝干的三维匹配提供了端点位置和关节点位置的二维信息，也为枝干空间定位和避障方案的设计打下基础。本文进一步研究了摄像机标定方法和双目匹配方法，得出适合本课题的立体匹配方案。进行匹配实验，对实验结果进行误差补偿。以上研究分别在完整果实圆心提取、遮挡果实圆心提取和枝干形状提取方面提高了识别准确度，并在避障方面开展了基础研究工作，这些研究成果均有利于提高立体匹配准确性。本文的研究为采摘机器人提高作业精度和操作安全性提供了一定的理论和实验的参照。