论文部分内容阅读
摘 要：設施番茄疏花疏果工作多依赖于人工，针对人工逐一判断、工作量大、移动设备实时性要求高等问题，通过卷积神经网络进行番茄部分生长参数识别，并结合农事操作经验进行应用讨论。在卷积神经网络SSD算法中引入轻量化模块MobileNetV3，提出了基于SSD-MobileNetV3模型的番茄花和果实的识别分析方法。与传统方法相比，一定程度上克服了重叠及遮挡、光照条件变化、亮度不均等干扰因素的影响。在串开花数、串结果数等生长参数识别基础上，结合疏花疏果工作进行讨论。结果表明，试验模型对于设施环境下常见干扰因素具有良好的实时性和鲁棒性，与SSD算法相比，花果平均识别率为92.57%，提高了7.9%，识别速度为0.079 s，提升了约4倍，识别率和识别速度明显提高，计算参数减少，基本满足应用要求。
关键词：番茄;设施栽培;生长监测;疏花疏果;轻量化神经网络;图像识别
中图分类号：S641.2 文献标志码：A 文章编号：1673-2871（2021）09-038-07
Study on identification method of thinning flower and fruit of tomato based on improved SSD lightweight neural network
CHEN Xin1，2， WU Pinghui2， ZU Shaoying3， XU Dan4， ZHANG Yunhe1， DONG Jing1
（1. Beijing Agricultural Intelligent Equipment Technology Research Center， Beijing 100097， China; 2. School of Electronic Information Engineering， Hebei University of Technology， Tianjin 300401， China; 3.Tianjin Agricultural Mechanization Technology Test Service Center， Tianjin 301616， China; 4. Beijing Jixing Agriculture Co. LTD， Beijing 101500， China）
Abstract： Aiming at the problems of facility tomato flower thinning and fruit thinning relying on manual judgment one by one， the workload is large， and the real-time requirements of mobile equipment are high， here we use convolutional neural network to identify some tomato growth parameters， and discusses the application based on agricultural operation experience. The lightweight module MobileNetV3 is introduced into the convolutional neural network SSD algorithm， and a method for identifying and analyzing tomato flowers and fruits based on the SSD-MobileNetV3 model is proposed. Compared with the traditional method， it overcomes the influence of interference factors such as overlap and occlusion， changes in lighting conditions， and uneven brightness to a certain extent. On the basis of the identification of growth parameters such as the number of bunches and the number of bunches， the discussion was carried out in conjunction with the work of flower thinning and fruit thinning. The results show that the experimental model has good real-time performance and robustness for common interference factors in the facility environment. Compared with the SSD algorithm， the average recognition rate of flowers and fruits is 92.57%， which is an increase of 7.9%， and the recognition speed is 0.079 s， which is an increase of approximately 4 times， the recognition rate and recognition speed are significantly improved， and the calculation parameters are reduced， which basically meets the application requirements. Key words： Tomato; Protected Cultivation; Growth monitoring; Sparsely flowered and fruited; Lightweight neural network; Image recognition
設施番茄对于菜农增收和蔬菜产业发展都具有重要意义[1]，疏花疏果是提高设施番茄产量和品质的重要措施，可以保证营养供给，协调植株均衡生长，提高果实商品性，在生产过程中必不可少。在传统农业生产过程中，疏花疏果工作多依赖于操作人员的经验积累，劳动强度大，不适于在现代设施环境中的科学管理。农业农村部在《关于加快推进设施种植机械化发展的意见》中明确提出要大力推进设施布局标准化、设施装备智能化和生产服务社会化，采用图像识别技术实现包括串开花数、串结果数、果实成熟度等生长参数的准确监测，可以对农事决策的智能化、设施作业机器人的应用提供有效支撑。但在实际生产过程中，作业背景复杂、光照条件变化、枝叶遮挡覆盖等环境因素，以及小型移动设备本身存在的处理速度、存储规模等设备因素，都会影响监测结果。
国内外针对作物生长参数的监测已经有广泛的研究，孙建桐等[2]、车金庆等[3]、 冯玮等[4]分别通过聚类、形态学、霍夫变换等传统分割识别算法实现了对作物器官的判断，但是多针对单一器官或特征进行识别，同一算法中难以同时识别具有不同特征的生长参数，而且这种传统算法识别率有待提高，易受环境条件影响，而且在遮挡严重情况下的效果一般。近年来，随着信息技术发展，卷积神经网络被广泛应用于该领域[5-6]，实现了对不同作物的参数监测。张恩宇等[7]提出基于TensorFlow深度学习框架下训练的SSD深度学习算法对青苹果进行识别;岑冠军等[8]通过Faster R-CNN深度学习模型实现了芒果图像的识别;孙哲等[9]将Faster R-CNN中的VGG16网络替换为ResetNet101网络，以达到提高检测精度的目标。以上研究可以实现良好的识别效果，但是存在模型复杂度高、检测时间长、硬件条件要求高等限制，而且少有进一步结合实际农业生产操作的分析。
基于上述研究和应用需求，笔者提出了基于改进的SSD算法，即通过轻量化算法MobileNetV3和SSD目标检测算法结合，从主干网络着手，将传统的VGG-16替换为MobileNetV3，实现对串开花数、串结果数、果实成熟度等生长参数的判断，模型和参数规模大大减少，达到移动环境下操作条件，并且结合实际生产经验，进行了在疏花疏果作业中的应用分析。
1 材料与方法
1.1 试验数据的采集和设备搭建
本试验中的番茄图像采集于北京市昌平区小汤山国家精准农业示范研究基地，选取大棚内种植的番茄进行图像采集，采用CanonEOS 7D单反相机（5184像素×3456像素）进行拍摄，番茄品种为苏粉14号（江苏省农业科学院蔬菜研究所），种植于2019年10月3日，大棚长为46 m，宽为10 m，在2019年10月至2020年1月追踪拍摄番茄的育苗、开花、结果等生长发育过程，其中番茄开花时期图像1230幅，未成熟番茄果实图像1524幅，成熟番茄果实图像1050幅。试验设备包括用于集成算法和显示结果的微型计算机和进行遥控巡检的直线合金铝双竹节升降巡检机器人，两者通过以太网共同组成智慧联网系统。如图1所示，该巡检机器人为DKY-LZN/TL/SZ-15系列，具备升降平台，可以通过巡检配置实现目标位置定时巡视功能。试验过程中将升降平台调至1.5 m高度，角度与番茄种植方向平行，通过遥控进行定时巡检，并通过微型计算机显示识别效果。
1.2 样本数据集制作
为增加训练模型的鲁棒性，对数据集进行预处理，通过数据增强处理提高训练模型的泛化能力。通过labelImg软件对本试验采集的3804幅图像样本进行标签制作，本试验中使用POSCAL VOC2007数据集格式，分为训练集、验证集和测试集，其中训练集是随机从整体数据集采用独立同分布采样得到，为保证后期评价标准的可靠性，测试集要和验证集互斥。数据集具体类别和分布情况如表1所示。
1.3 SSD-MobileNetv3轻量化番茄识别网络
1.3.1 SSD目标检测算法 根据网络模型结构不同，检测模型可以分为两类，以YOLO和SSD为代表的单步检测算法是将目标检测当作回归问题求解，通过端到端的图像特征提取和预测分类，完成实时性检测。而以Faster R-CNN等为代表的两步检测算法则需对待检测图像提取部分可能含有目标的候选区域，然后对候选区域进行分类和坐标修正。考虑农业应用过程中的实际情况，笔者选取了检测精度和效果更为均衡的单步检测模型SSD为基础框架。
Liu等[10]在2016年提出的SSD算法结合了Faster R-CNN[11]和YOLO[12]的优点，网络结构，包括提取图像特征的基础网络和多尺度检测网络。但是对于以VGG-16为基础骨架的SSD检测模型而言，拥有大量的权值参数，这需要高性能的硬件设备和稳定的试验环境[13]。在农业生产过程中，小型移动设备应用非常广泛，但是其处理器难以达到试验要求，存在模型存储和处理速度不够等问题，传统SSD检测模型难以达到应用要求。为解决此类问题，可以替换前端特征提取模型，设计轻量化的网络模型，减少网络参数数量和节省运行内存，提高计算速度。
1.3.2 MobileNetV3算法 MobileNetV3综合了MobileNetV1的深度可分离卷积、MobileNetV2的具有线性瓶颈的逆残差结构和MnasNet的基于squeeze and excitation结构的轻量级注意力模型等的优点[14]，改进了网络结构以及引进了h-swish，在保证网络精度的同时，提升运行速度，节约计算机的计算成本。 （1）网络建构模块：深度可分离卷积是轻量级神经网络发展过程中的一项重要技术，在保证精度降低很小的前提下，大幅度提高網络运行速度，降低模型参数和运算成本[15]。其基本思想是把区域和通道分开考虑，将标准卷积分解成深度卷积及一个1×1的逐点卷积[16]。深度卷积是用于特征提取，对输入数据的每个通道应用单个卷积滤波器进行卷积。逐点卷积是对上一步的输出进行线性组合，得到新的特征。而标准卷积是使用同等深度的卷积核与输入数据进行卷积并求和运算。对比2种卷积方式，可以发现深度可分离卷积在保证与标准卷积输出维度相同的前提下具有更加优异的性能。
具有线性瓶颈的反向残差模块。由于深度卷积没有改变输入通道的能力，所以当通道很少时，深度可分离卷积只能在低维度特征上工作，而通常情况下激活函数在低维度时的非线性变化会导致较大的信息损失，所以在深度卷积之前先经过1×1的卷积来提高提升输入数据的维度，使其可以在高纬度下提取特征，在深度卷积后再经过一个1×1的卷积用于降维，这样整个结构与标准残差结构的先降维再升维相反，所以称为反向残差，线性瓶颈是指降维后，将激活函数换成线性。
（2）网络结构改进：轻量级注意力模型SE。SE模块思想简单，易于实现，对卷积后的特征图进行处理，利用通道的独立性分别重调通道维度的特征来获得更好的最终效果，并且比较容易加载到网络模型框架中。
其中引进了非线性激活函数h-swish，swish具有无上界有下界、平滑、非单调等特点，可以提高神经网络的精度，且在深度模型方面也优于ReLU，但是计算量很大，所以提出h-swish近似代替swish。h-swish会造成延迟，所以在模型后半部分使用了h-swish。公式1中β为常数或可训练的参数，公式2中ReLU为修正线性单元。
[（2）]
关键词：番茄;设施栽培;生长监测;疏花疏果;轻量化神经网络;图像识别
中图分类号：S641.2 文献标志码：A 文章编号：1673-2871（2021）09-038-07
Study on identification method of thinning flower and fruit of tomato based on improved SSD lightweight neural network
CHEN Xin1，2， WU Pinghui2， ZU Shaoying3， XU Dan4， ZHANG Yunhe1， DONG Jing1
（1. Beijing Agricultural Intelligent Equipment Technology Research Center， Beijing 100097， China; 2. School of Electronic Information Engineering， Hebei University of Technology， Tianjin 300401， China; 3.Tianjin Agricultural Mechanization Technology Test Service Center， Tianjin 301616， China; 4. Beijing Jixing Agriculture Co. LTD， Beijing 101500， China）
Abstract： Aiming at the problems of facility tomato flower thinning and fruit thinning relying on manual judgment one by one， the workload is large， and the real-time requirements of mobile equipment are high， here we use convolutional neural network to identify some tomato growth parameters， and discusses the application based on agricultural operation experience. The lightweight module MobileNetV3 is introduced into the convolutional neural network SSD algorithm， and a method for identifying and analyzing tomato flowers and fruits based on the SSD-MobileNetV3 model is proposed. Compared with the traditional method， it overcomes the influence of interference factors such as overlap and occlusion， changes in lighting conditions， and uneven brightness to a certain extent. On the basis of the identification of growth parameters such as the number of bunches and the number of bunches， the discussion was carried out in conjunction with the work of flower thinning and fruit thinning. The results show that the experimental model has good real-time performance and robustness for common interference factors in the facility environment. Compared with the SSD algorithm， the average recognition rate of flowers and fruits is 92.57%， which is an increase of 7.9%， and the recognition speed is 0.079 s， which is an increase of approximately 4 times， the recognition rate and recognition speed are significantly improved， and the calculation parameters are reduced， which basically meets the application requirements. Key words： Tomato; Protected Cultivation; Growth monitoring; Sparsely flowered and fruited; Lightweight neural network; Image recognition
設施番茄对于菜农增收和蔬菜产业发展都具有重要意义[1]，疏花疏果是提高设施番茄产量和品质的重要措施，可以保证营养供给，协调植株均衡生长，提高果实商品性，在生产过程中必不可少。在传统农业生产过程中，疏花疏果工作多依赖于操作人员的经验积累，劳动强度大，不适于在现代设施环境中的科学管理。农业农村部在《关于加快推进设施种植机械化发展的意见》中明确提出要大力推进设施布局标准化、设施装备智能化和生产服务社会化，采用图像识别技术实现包括串开花数、串结果数、果实成熟度等生长参数的准确监测，可以对农事决策的智能化、设施作业机器人的应用提供有效支撑。但在实际生产过程中，作业背景复杂、光照条件变化、枝叶遮挡覆盖等环境因素，以及小型移动设备本身存在的处理速度、存储规模等设备因素，都会影响监测结果。
国内外针对作物生长参数的监测已经有广泛的研究，孙建桐等[2]、车金庆等[3]、 冯玮等[4]分别通过聚类、形态学、霍夫变换等传统分割识别算法实现了对作物器官的判断，但是多针对单一器官或特征进行识别，同一算法中难以同时识别具有不同特征的生长参数，而且这种传统算法识别率有待提高，易受环境条件影响，而且在遮挡严重情况下的效果一般。近年来，随着信息技术发展，卷积神经网络被广泛应用于该领域[5-6]，实现了对不同作物的参数监测。张恩宇等[7]提出基于TensorFlow深度学习框架下训练的SSD深度学习算法对青苹果进行识别;岑冠军等[8]通过Faster R-CNN深度学习模型实现了芒果图像的识别;孙哲等[9]将Faster R-CNN中的VGG16网络替换为ResetNet101网络，以达到提高检测精度的目标。以上研究可以实现良好的识别效果，但是存在模型复杂度高、检测时间长、硬件条件要求高等限制，而且少有进一步结合实际农业生产操作的分析。
基于上述研究和应用需求，笔者提出了基于改进的SSD算法，即通过轻量化算法MobileNetV3和SSD目标检测算法结合，从主干网络着手，将传统的VGG-16替换为MobileNetV3，实现对串开花数、串结果数、果实成熟度等生长参数的判断，模型和参数规模大大减少，达到移动环境下操作条件，并且结合实际生产经验，进行了在疏花疏果作业中的应用分析。
1 材料与方法
1.1 试验数据的采集和设备搭建
本试验中的番茄图像采集于北京市昌平区小汤山国家精准农业示范研究基地，选取大棚内种植的番茄进行图像采集，采用CanonEOS 7D单反相机（5184像素×3456像素）进行拍摄，番茄品种为苏粉14号（江苏省农业科学院蔬菜研究所），种植于2019年10月3日，大棚长为46 m，宽为10 m，在2019年10月至2020年1月追踪拍摄番茄的育苗、开花、结果等生长发育过程，其中番茄开花时期图像1230幅，未成熟番茄果实图像1524幅，成熟番茄果实图像1050幅。试验设备包括用于集成算法和显示结果的微型计算机和进行遥控巡检的直线合金铝双竹节升降巡检机器人，两者通过以太网共同组成智慧联网系统。如图1所示，该巡检机器人为DKY-LZN/TL/SZ-15系列，具备升降平台，可以通过巡检配置实现目标位置定时巡视功能。试验过程中将升降平台调至1.5 m高度，角度与番茄种植方向平行，通过遥控进行定时巡检，并通过微型计算机显示识别效果。
1.2 样本数据集制作
为增加训练模型的鲁棒性，对数据集进行预处理，通过数据增强处理提高训练模型的泛化能力。通过labelImg软件对本试验采集的3804幅图像样本进行标签制作，本试验中使用POSCAL VOC2007数据集格式，分为训练集、验证集和测试集，其中训练集是随机从整体数据集采用独立同分布采样得到，为保证后期评价标准的可靠性，测试集要和验证集互斥。数据集具体类别和分布情况如表1所示。
1.3 SSD-MobileNetv3轻量化番茄识别网络
1.3.1 SSD目标检测算法 根据网络模型结构不同，检测模型可以分为两类，以YOLO和SSD为代表的单步检测算法是将目标检测当作回归问题求解，通过端到端的图像特征提取和预测分类，完成实时性检测。而以Faster R-CNN等为代表的两步检测算法则需对待检测图像提取部分可能含有目标的候选区域，然后对候选区域进行分类和坐标修正。考虑农业应用过程中的实际情况，笔者选取了检测精度和效果更为均衡的单步检测模型SSD为基础框架。
Liu等[10]在2016年提出的SSD算法结合了Faster R-CNN[11]和YOLO[12]的优点，网络结构，包括提取图像特征的基础网络和多尺度检测网络。但是对于以VGG-16为基础骨架的SSD检测模型而言，拥有大量的权值参数，这需要高性能的硬件设备和稳定的试验环境[13]。在农业生产过程中，小型移动设备应用非常广泛，但是其处理器难以达到试验要求，存在模型存储和处理速度不够等问题，传统SSD检测模型难以达到应用要求。为解决此类问题，可以替换前端特征提取模型，设计轻量化的网络模型，减少网络参数数量和节省运行内存，提高计算速度。
1.3.2 MobileNetV3算法 MobileNetV3综合了MobileNetV1的深度可分离卷积、MobileNetV2的具有线性瓶颈的逆残差结构和MnasNet的基于squeeze and excitation结构的轻量级注意力模型等的优点[14]，改进了网络结构以及引进了h-swish，在保证网络精度的同时，提升运行速度，节约计算机的计算成本。 （1）网络建构模块：深度可分离卷积是轻量级神经网络发展过程中的一项重要技术，在保证精度降低很小的前提下，大幅度提高網络运行速度，降低模型参数和运算成本[15]。其基本思想是把区域和通道分开考虑，将标准卷积分解成深度卷积及一个1×1的逐点卷积[16]。深度卷积是用于特征提取，对输入数据的每个通道应用单个卷积滤波器进行卷积。逐点卷积是对上一步的输出进行线性组合，得到新的特征。而标准卷积是使用同等深度的卷积核与输入数据进行卷积并求和运算。对比2种卷积方式，可以发现深度可分离卷积在保证与标准卷积输出维度相同的前提下具有更加优异的性能。
具有线性瓶颈的反向残差模块。由于深度卷积没有改变输入通道的能力，所以当通道很少时，深度可分离卷积只能在低维度特征上工作，而通常情况下激活函数在低维度时的非线性变化会导致较大的信息损失，所以在深度卷积之前先经过1×1的卷积来提高提升输入数据的维度，使其可以在高纬度下提取特征，在深度卷积后再经过一个1×1的卷积用于降维，这样整个结构与标准残差结构的先降维再升维相反，所以称为反向残差，线性瓶颈是指降维后，将激活函数换成线性。
（2）网络结构改进：轻量级注意力模型SE。SE模块思想简单，易于实现，对卷积后的特征图进行处理，利用通道的独立性分别重调通道维度的特征来获得更好的最终效果，并且比较容易加载到网络模型框架中。
其中引进了非线性激活函数h-swish，swish具有无上界有下界、平滑、非单调等特点，可以提高神经网络的精度，且在深度模型方面也优于ReLU，但是计算量很大，所以提出h-swish近似代替swish。h-swish会造成延迟，所以在模型后半部分使用了h-swish。公式1中β为常数或可训练的参数，公式2中ReLU为修正线性单元。
[（2）]