论文部分内容阅读
植物工厂作为技术高度集成的农业系统，机械化、信息化和智能化是其重要特征。植物工厂生产过程中，将育苗海绵中高密度种植的幼苗转移到低密度的泡沫板这一过程称为定植。通过获取幼苗表型信息选取正常苗并将其定植到泡沫板上是实现现代农业智能化生产的重要一步。本文以植物工厂内的定植蔬菜幼苗为对象，研制了适用于植物工厂的幼苗定植装备，并基于深度学习技术研究了针对双叶幼苗表型信息获取技术，论文的主要研究内容和结论如下：
（1）幼苗二维分割方法研究。采用深度学习网络FCN（Fully convolutional network）对幼苗二维进行语义分割，将图像的每个像素划分为茎、叶、节点和背景，采用深度学习网络Mask R-CNN（Mask region-convolutional neural networks）对幼苗二维进行实例分割，在语义分割的基础上分割出不同的茎、叶和节点等实例。采用迁移学习并选取合适超参训练上述网络，使用查准率、查全率和F1值对茎、叶、背景分割结果进行像素级别分割评价，结合IoU对茎和叶分割结果进行实例检测结果评价，根据预测节点和实际节点的欧几里得距离对节点检测结果进行评价。结果表明使用FCN方法的分割结果查全率更高，茎的F1值（F1值取值范围为0（最差）到1（最好））为0.68，叶的F1值为0.85，节点（阈值为2mm）的F1值为0.98，使用Mask R-CNN方法的分割结果查准率更高，茎的F1值为0.70，叶的F1均值为0.78，节点（阈值为2mm）的F1值为0.94。
（2）幼苗三维表型分割与获取研究。提出一种基于多视图的三维分割法，使用投票决策法将幼苗二维分割结果投射至幼苗三维点云模型并提取幼苗表型信息，对比二维与三维分割结果得出三维分割结果在语义和实例分割方面均优于二维分割结果。对比基于多视图法和直接使用点云模型训练的深度学习法（PointNet++分割法和SGPN分割法）的分割结果得出PointNet++的预测结果最优，但是通过3种方法提取的茎长、总叶面积、单叶面积和叶片数量等幼苗表型信息与实际参数的拟合结果以及处理时间的对比分析，由于PointNet++与SGPN分割法受输入点数的限制，基于多视图分割法的拟合程度最高（总叶面积R2=0.9578，语义分割茎长R2=0.7696，单叶面积平均R2=0.8616，实例分割茎长R2=0.8711），其次为PointNet++分割法（总叶面积R2=0.8251，语义分割茎长R2=0.7189，单叶面积平均R2=0.7970，实例分割茎长R2=0.3466）和SGPN分割法（总叶面积R2=0.8849，语义分割茎长R2=0.0879），并且基于多视图分割法的叶片数量预测完全正确且运行时间最短，PointNet++预测数量少于实际数量且运行时间次之，SGPN无法完成实例分割且运行时间最长，结合实际应用场景选用基于多视图分割法更适合实时获取准确的幼苗表型信息。最后基于提取的幼苗表型信息开发幼苗分类程序，该程序具有用户自主设定并选取分类参数、统计幼苗表型信息和幼苗分类的功能，为定植装备选取正常苗提供数据支撑。
（3）植物工厂定植装备的研制。根据育苗海绵和种植泡沫板的参数和物理性质，研制了基于幼苗表型的定植装备，装备分为夹持分离区、幼苗表型信息获取区和转移区三个部分，具有分离、输送、分类、定植的功能。重点对辅助分离机构、夹持分离机构和幼苗表型获取机构进行设计，仿真辅助分离机构中的U型杆插入海绵的过程并优化U型杆，研制夹持机构中的“半弧型”夹具并选取合适的夹持手爪采用上下交错安装方式分离相连海绵，研制分离机构完成带苗海绵等距分离，采用遮罩、背光光源和10个相机等设备采集幼苗图像为幼苗表型提取提供数据来源，实现装备能在不破坏幼苗的情况下，基于获取的幼苗表型信息选取正常幼苗并将其成功定植。
（4）定植装备关键机构作业参数优化与性能测试。开发定植装备关键机构试验平台及其控制系统，采用PLC控制器，控制各气缸驱动各部件进行海绵夹取、分离和释放等步骤。研究关键机构的气动夹钳气压、夹具插入宽度、夹具与海绵块接触长度这3个主要作业参数对定植成功率的影响，并分析上述参数对海绵块分离失败率、幼苗受损率、海绵块受损率、机构释放失败率和幼苗歪斜率的影响。通过对培育在密度为30kg/m3育苗海绵上的“868”小青菜幼苗进行上述参数的全面试验研究，确定了当气动夹钳气压为0.6MPa、夹具插入宽度为11mm、夹具与海绵块接触长度为15mm时为定植较优作业参数。针对种植在密度为20、25、30kg/m3育苗海绵的“868”小青菜、种植在密度为30kg/m3育苗海绵的“意大利”生菜和种植在密度为30kg/m3育苗海绵的“新上海青”小青菜的幼苗进行定植试验，平均定植成功率为96.8%，证明所设计定植装置是可行的，且该定植过程比手动定植可减少约60%的操作时间。
（1）幼苗二维分割方法研究。采用深度学习网络FCN（Fully convolutional network）对幼苗二维进行语义分割，将图像的每个像素划分为茎、叶、节点和背景，采用深度学习网络Mask R-CNN（Mask region-convolutional neural networks）对幼苗二维进行实例分割，在语义分割的基础上分割出不同的茎、叶和节点等实例。采用迁移学习并选取合适超参训练上述网络，使用查准率、查全率和F1值对茎、叶、背景分割结果进行像素级别分割评价，结合IoU对茎和叶分割结果进行实例检测结果评价，根据预测节点和实际节点的欧几里得距离对节点检测结果进行评价。结果表明使用FCN方法的分割结果查全率更高，茎的F1值（F1值取值范围为0（最差）到1（最好））为0.68，叶的F1值为0.85，节点（阈值为2mm）的F1值为0.98，使用Mask R-CNN方法的分割结果查准率更高，茎的F1值为0.70，叶的F1均值为0.78，节点（阈值为2mm）的F1值为0.94。
（2）幼苗三维表型分割与获取研究。提出一种基于多视图的三维分割法，使用投票决策法将幼苗二维分割结果投射至幼苗三维点云模型并提取幼苗表型信息，对比二维与三维分割结果得出三维分割结果在语义和实例分割方面均优于二维分割结果。对比基于多视图法和直接使用点云模型训练的深度学习法（PointNet++分割法和SGPN分割法）的分割结果得出PointNet++的预测结果最优，但是通过3种方法提取的茎长、总叶面积、单叶面积和叶片数量等幼苗表型信息与实际参数的拟合结果以及处理时间的对比分析，由于PointNet++与SGPN分割法受输入点数的限制，基于多视图分割法的拟合程度最高（总叶面积R2=0.9578，语义分割茎长R2=0.7696，单叶面积平均R2=0.8616，实例分割茎长R2=0.8711），其次为PointNet++分割法（总叶面积R2=0.8251，语义分割茎长R2=0.7189，单叶面积平均R2=0.7970，实例分割茎长R2=0.3466）和SGPN分割法（总叶面积R2=0.8849，语义分割茎长R2=0.0879），并且基于多视图分割法的叶片数量预测完全正确且运行时间最短，PointNet++预测数量少于实际数量且运行时间次之，SGPN无法完成实例分割且运行时间最长，结合实际应用场景选用基于多视图分割法更适合实时获取准确的幼苗表型信息。最后基于提取的幼苗表型信息开发幼苗分类程序，该程序具有用户自主设定并选取分类参数、统计幼苗表型信息和幼苗分类的功能，为定植装备选取正常苗提供数据支撑。
（3）植物工厂定植装备的研制。根据育苗海绵和种植泡沫板的参数和物理性质，研制了基于幼苗表型的定植装备，装备分为夹持分离区、幼苗表型信息获取区和转移区三个部分，具有分离、输送、分类、定植的功能。重点对辅助分离机构、夹持分离机构和幼苗表型获取机构进行设计，仿真辅助分离机构中的U型杆插入海绵的过程并优化U型杆，研制夹持机构中的“半弧型”夹具并选取合适的夹持手爪采用上下交错安装方式分离相连海绵，研制分离机构完成带苗海绵等距分离，采用遮罩、背光光源和10个相机等设备采集幼苗图像为幼苗表型提取提供数据来源，实现装备能在不破坏幼苗的情况下，基于获取的幼苗表型信息选取正常幼苗并将其成功定植。
（4）定植装备关键机构作业参数优化与性能测试。开发定植装备关键机构试验平台及其控制系统，采用PLC控制器，控制各气缸驱动各部件进行海绵夹取、分离和释放等步骤。研究关键机构的气动夹钳气压、夹具插入宽度、夹具与海绵块接触长度这3个主要作业参数对定植成功率的影响，并分析上述参数对海绵块分离失败率、幼苗受损率、海绵块受损率、机构释放失败率和幼苗歪斜率的影响。通过对培育在密度为30kg/m3育苗海绵上的“868”小青菜幼苗进行上述参数的全面试验研究，确定了当气动夹钳气压为0.6MPa、夹具插入宽度为11mm、夹具与海绵块接触长度为15mm时为定植较优作业参数。针对种植在密度为20、25、30kg/m3育苗海绵的“868”小青菜、种植在密度为30kg/m3育苗海绵的“意大利”生菜和种植在密度为30kg/m3育苗海绵的“新上海青”小青菜的幼苗进行定植试验，平均定植成功率为96.8%，证明所设计定植装置是可行的，且该定植过程比手动定植可减少约60%的操作时间。