在农业中,自动收获机器人技术的研发,是我国农业模式产业化、规模化转型的关键环节。本文针对真实场景中苹果的自动化采摘作业开展研究。对于智能化农业装备的发展有着较为重要的理论意义和实用价值。本研究利用RGB-D相机获得环境数据、结合深度学习方法实现了环境中苹果果实的识别与苹果3D点云的数据分割,在此基础上,分析苹果3D点云数据,进行了多目标采摘的路径规划及仿真。本研究具体完成了以下工作:(1)数据采集与数据集制作。在北京市与山东省的四处果园中,针对两种光照条件,对四个品种的苹果树进行RGB-D数据采集,其中RGB样本图像共5660张,同时采集与RGB图像对应的场景深度信息。所有数据均进行人工标记,建立RGB-D数据集。将RGB-D数据用于训练改进的深度卷积神经网络。(2)结合RGB图像识别出的感兴趣区域(ROIs)与RGB-D相机数学模型,对果树点云进行映射分割,对于多品种苹果点云分割的重叠率均达到96%以上,具有较好的鲁棒性;设计点云质量控制算法(QCP),滤除苹果目标点云的杂点;利用ROIs的重心坐标,在目标点云数据中分析采摘作业位姿信息。(3)针对眼在手外(Eye-To-Hand)方案,提出接触式的手眼标定方案,计算坐标系之间的平移向量和三个旋转角,实现RGB-D相机与机械臂的“手眼标定”。(4)针对多目标采摘进行了路径规划,基于蚁群算法提出构建机械臂全局最优路径的决策机制,按照全局路径最短原则遍历决策方案,规划了多目标最优采摘路径。本文的研究结论对于苹果自动采摘作业中的苹果目标识别、苹果空间定位分析以及采摘路径规划等问题有理论参考意义。