论文部分内容阅读
在人工智能浪潮的推动下,对果园实行智能化管理势在必行,这其中对果实的自动识别检测又是实现智能化种植、采摘的重要前提。自然环境下果园葡萄的检测存在叶片、葡萄相互遮挡和光线照射不均匀等问题,对于绿色葡萄的检测来说更为突出的问题是前景(绿色葡萄)和背景(葡萄叶片)相似,使得通过手动进行特征提取的常规检测方法难以进行准确检测,而基于卷积神经网络的检测方法因可以自动提取更加丰富的特征,并采用端到端的方式进行训练和检测,能够满足葡萄果园场景的检测需求。本文以葡萄果园场景中的葡萄作为研究对象,利用深度卷积神经网络对自然场景下果园葡萄进行自动检测,并设计果园葡萄检测系统,实现了对于果园葡萄快速、高效的检测,为葡萄的智能化采摘打下坚实的基础。主要研究工作与结论如下:(1)葡萄果园数据集的建立。鉴于国内缺少葡萄果园数据集,本文通过在果园实地拍摄的方式,采集了共11种葡萄的3223张图像,并进行手动人工标注,建立Pascal VOC格式的果园葡萄图像数据集。数据集中包含不同光照条件、不同拍摄距离、不同拍摄角度下的葡萄图像。为进一步扩大数据集,提高训练数据多样性,对数据集使用水平翻转、平移、随机块采样等方法进行数据扩增,共得到15334张训练数据,325张测试数据。(2)基于ROI Align的Faster R-CNN果园葡萄检测方法。首先对Faster R-CNN中的特征提取网络进行改进,结果表明使用具有更多层数的残差网络模型Res Net101来提取特征比使用VGG16、Res Net50提取特征,m AP0.5:0.05:0.95分别要高出10.5%和5.1%。其次使用ROI Align对不同尺寸的特征图进行固定,从而避免ROI Pooling在两次取整过程中带来的像素损失,实验结果表明使用ROI Align的Faster R-CNN网络在检测精度上要优于使用ROI Pooling,m AP0.5:0.05:0.95达到0.9102,满足果园葡萄检测需求。(3)基于Mobile Net的SSD果园葡萄检测方法。为了满足葡萄果园复杂场景下移动端识别的需要,减少对高性能GPU的依赖,本文将SSD网络与轻量级的特征提取网络相融合,同时针对数据集中存在负样本(背景区域)远远多于正样本(葡萄)以及简单样本和难样本不均衡的问题,使用损失函数Focal loss进行样本分类。实验结果表明,以Mobile Net V2作为特征提取网络、使用深度可分离卷积替换SSD网络预测层中的标准卷积、参数γ=2、α=0.75的Focal loss作为分类损失函数时,模型性能最优,m AP0.5:0.05:0.95达到0.8803,比未使用Focal loss的Mobile Net V1_SSD、Mobile Net V2_SSD、VGG16_SSD分别高出4.4%、5.3%、5.5%。同时Mobile Net V2_SSDLite在小米M8 Lite上的单幅图像平均检测速度为100ms,满足葡萄果园实时检测需求。为适应果园葡萄图像中的多尺度大小的检测需求,将FPN网络与Mobile Net V2_SSDLite网络相融合,m AP0.5:0.05:0.95达到了0.9054,在小米M8 Lite上的单幅图像平均检测速度为153ms。(4)果园葡萄检测系统的设计与实现。本文基于安卓操作系统设计并开发了移动端果园葡萄识别系统,分为离线检测和在线检测两种模式,实现了果园葡萄检测等功能。并将Mobile Net V2_SSD模型部署到Jetson Nano上,在使用多线程处理任务后,单幅图像的检测速度为43ms,为后续采摘机器人的研究打下坚实的基础。测试结果表明移动端果园葡萄识别系统在检测精度和检测速度的实时性上满足葡萄果园实际需求,具有一定的理论和实际应用价值。