随着经济发展,农村劳动力向城市转移,导致农业劳动力匮乏和农业生产成本激增。柑橘产业中,收获成本已达柑橘生产总成本的35-50%。为降低生产成本、提高产品竞争力和满足鲜果市场需求,开发智能化柑橘采摘机器人是一个有效解决途径。由于自然场景的复杂性,机器人在果实与障碍的识别、定位,以及机械手安全作业等方面遇到很多困难,影响了其实用化进程。本文以自然场景为研究对象,利用颜色信息识别柑橘、树枝,并提取相关特征;利用双目立体视觉技术提取柑橘空间信息,并采用虚拟现实技术重构果树模型;将机器人模型和果树模型组合成场景模型,进行机器人避障路径规划。本文的主要研究内容和方法如下:非结构化自然场景下柑橘与树枝区域自适应分割方法研究。对采集的多种天气条件下的场景图像,分析了多个颜色空间下的分量图像和分量融合图像,发现G-B色差分量的灰度直方图上果实与背景形成明显的双峰,采用Otsu自动阈值法能有效分割柑橘区域。通过分析比较树枝区域、柑橘区域、树叶区域与其它区域的RGB值变化规律,提出以各像素RGB值为输入向量,构建两类、多类支持向量机分类模型,分别分割图像中的树枝区域、同时分割图像中柑橘与树枝区域。综合考虑分割效果和运算时间等因素,采用G-B色差分量结合Otsu法分割柑橘区域,两类支持向量机法分割树枝区域。多光谱图像结合最小噪声分离(MNF)变换、光谱角法(SAM)的树枝区域分割研究。利用滤波片自制多光谱成像系统,采集同一场景下多个波段图像,并选择其中6幅分量图像组成多光谱图像,提取MNF变换去噪后的前4幅主成分图像,结合SAM分割树枝区域。该法能有效提取树枝区域,为采摘机器人目标识别提供了新的思路。自然场景下柑橘、树枝的特征提取方法研究。采用区域重心法(CB)、边缘中心法(EB)、圆形Hough变换法(CHT)和最小二乘圆拟合法(LSCF)分别提取不同遮挡程度的柑橘特征,发现CHT,LSCF法具有较强鲁棒性,可用于柑橘特征提取。针对簇生、粘连、遮挡柑橘,提出了采用基于距离图像的分水岭变换逐个分割粘连柑橘,并采用最小凸包运算修复遮挡区域,提取柑橘轮廓,然后分别采用CHT和LSCF法逐个提取柑橘特征。CHT计算量大、耗时较长。通过整体比较,LSCF提取效果较好,能满足柑橘中心坐标和柑橘拟合圆半径等特征提取的实时需求。采用细线化法提取树枝骨架,并去除“假分枝”,利用多线段逼近拟合树枝骨架,得到树枝关键点坐标;结合树枝区域的距离图像获取特征点处的树枝半径。柑橘、树枝的三维信息提取方法研究。采用基于图像柑橘中心坐标的特征匹配方法,利用三角测量原理获取柑橘中心三维坐标和柑橘拟合球体半径长度信息。通过试验确定在机器人有效空间(距离摄像机1.0-1.5m)内,定位误差小于10 mm,能满足采摘机器人定位需求。采用区域匹配方法获得各匹配像素的视差,结合二维图像中树枝特征点坐标,利用三角测量原理计算树枝特征点的空间坐标和半径信息。果树实时三维重建方法研究。通过分析构建圆台、圆柱和多阶圆柱3种模块的实时性和横向精度,研究采用4阶12棱柱法构建树枝模块。首先在空间坐标原点构建各段树枝模块,然后通过两次旋转和一次平移将三维模块以正确的位姿与其它模块组合成果树模型。柑橘采摘机器人机械臂作业实时路径规划研究。试验采用单次查询、双向采样、延迟碰撞概率地图法(SBL-PRM)在场景模型中进行机械手路径规划。对无遮挡和遮挡两种场景下的柑橘采摘情况进行仿真试验,分析最大采样点数S、邻域阈值ρ、局部路径检测阈值ε、路径平滑次数N等参数对规划时间和成功率的影响。仿真试验证明了SBL-PRM算法在采摘机器人实时路径规划中的有效性。研究采用双目立体视觉技术对自然场景下的柑橘和树枝进行识别与定位,利用虚拟重建技术构建柑橘采摘机器人工作场景模型,并进行机械臂的无碰撞作业路径规划。研究成果为柑橘采摘机器人实时、安全、无损的采摘作业提供理论基础和技术支持。