论文部分内容阅读
水果采摘环节属于劳动力密集型作业,受劳动力短缺影响巨大。在我国农业适龄劳动力不断减少的背景下,为确保水果及时采收,迫切需要研发智能水果采摘机器人。我国小农经营果园众多,这些果园种植管理方式较为落后,致使果树普遍枝繁叶茂,极可能增加机器人采摘难度。因此,鲁棒的三维果实和障碍物（如树枝、树干和撑杆等）检测是当前采摘机器人研发中的一个关键技术难题。此外,为了避免机器人碰撞障碍物以及提高采摘成功率,需研究如何利用三维果实和障碍物信息高效地引导机器人进行避障采摘。本文针对采摘机器人三维视觉感知与避障采摘作业难题,以计算机视觉、人工智能、最优化理论和机器人学等理论方法为基础,深入研究了三维水果检测、三维障碍物检测和避障路径规划等关键内容。具体内容和结论如下:（1）针对采摘机器人对三维水果的精准检测需求,提出了基于深度特征的三维水果检测方法,以及基于深度与颜色特征的三维水果检测方法。方法一先用区域生长算法将深度图像聚类为超像素块,进而利用球体检测算法从中提取候选果实,再用支持向量机鉴别错误果实;方法二先用贝叶斯分类器粗分割RGB-D图像,进而使用密度聚类算法将RGB-D图像划分为不可细分的点云,再用支持向量机删除错误点云。通过试验可知,方法一对番石榴和柑橘的检测F1分数分别为0.839和0.833,方法二分别为0.921和0.919;两者在x、y和z方向的定位误差分别为6.5±2.5mm、-3.0±3.0mm和12.0±4.0mm。结果表明两种方法鲁棒性好,定位精度较高,能够满足采摘机器人对水果的检测需求;方法二鲁棒性优于方法一。（2）针对机器人对三维障碍物的精准检测需求,提出了用三维直线段逼近不规则状障碍物的新思路,设计了基于全卷积神经网络（fully convolutional network,FCN）和随机抽样一致性算法（random sample consensus,RANSAC）相结合的三维直线段检测方法,以及基于改进Mask R-CNN的三维直线段检测方法。方法一先用FCN分割RGB-D图像的RGB分量,接着对分割结果进行骨架化处理并将骨架转换为三维点云,再用RANSAC从点云中检测三维直线段;方法二在Mask R-CNN的基础上添加了一条三维直线段回归分支,通过端到端的训练,新网络能够实现障碍物检测、分割和定位。试验结果表明,当采用相对距离误差和相对重投影误差度量时,方法一的F1分数分别为0.4608和0.4822,方法二的F1分数分别为0.4005和0.5778。结果表明两种方法鲁棒性好,能够满足采摘机器人对障碍物的检测需求;方法一综合性能优于方法二。（3）针对三维视觉引导的机器人避障采摘需求,设计了基于改进人工势场法（imporved artificial potential field,i APF）的避障路径规划算法,以及基于循环深度确定性策略梯度（recurrent deep deterministic policy gradient,RDDPG）的避障路径规划算法,旨在引导机器人沿避障路径接近果实进行采摘。i APF根据果实和障碍物三维信息构造了一种笛卡尔空间力,通过机械臂雅克比矩阵把笛卡尔空间力转换为关节空间力,再应用梯度下降法改变关节空间力以操控机械臂避障;RDDPG利用循环神经网络记忆机械臂与障碍物和果实之间的相对位置信息,推断机械臂运动速度和运动走势等隐藏状态,加速深度确定性策略梯度算法学习如何避障。通过仿真试验可知,i APF的避障路径规划成功率为100%,平均耗时3.6s;RDDPG的避障路径规划成功率为88.18%,平均耗时50ms。结果表明i APF鲁棒性高,实时性稍差;而RDDPG鲁棒性稍差,实时性高。（4）以岭南常见水果番石榴为例,集成了一款番石榴采摘机器人试验平台。该平台由一台六自由度机械臂、两套末端执行器和一套三维视觉感知与避障路径规划软件系统等组成。基于该平台,在野外环境下验证所提算法的有效性。野外试验结果为:在未执行避障路径规划的情况下,使用拉拧式末端执行器进行采摘的成功率为48.05%,平均耗时25.9s;在应用RDDPG进行避障路径规划的情况下,使用拉拧式末端执行器进行采摘的成功率为59.02%,平均耗时20.4s;在应用i APF进行避障路径规划的情况下,使用气动剪切式末端执行器进行采摘的成功率为80%,平均耗时19.6s。试验结果不仅表明避障路径规划能显著提高机器人采摘成功率,还证实了本文所提出算法的有效性。