未成熟芒果的自动目标检测是实现智能喷施、生长态势监测和早期产量估计等芒果种植管理的重要前提。计算机视觉技术为水果目标检测提供了有效、便捷的方法,成为国内外主流的检测技术手段。在果园场景下,由于光照的多样性、背景的复杂性及芒果与树叶颜色的高度相似性,特别是树叶和枝干对果实的遮挡及果实相互重叠,给未成熟芒果检测带来极大的挑战。深度卷积神经网络通过深层卷积,可提取比传统手工设计特征更加丰富、抽象的卷积特征,具有更加精确、快速的目标检测能力,近年来受到极为广泛的关注。因此,本文基于区域生成、回归两类深度学习目标检测方法,研究果园场景下未成熟芒果的目标检测,并设计芒果检测视觉系统,实现了果园场景下的果实高精度、快速检测。主要研究工作与创新如下:(1)芒果图像数据集的建立。通过果园实地采集芒果图像与人工标注,建立芒果图像数据集。为降低自然场景图像受光照的影响,在HSI色彩模型中使用自适应直方图均衡化方法提高图像质量、提升图像多样性。针对自然场景下芒果易被遮挡或相互重叠等情形,提出用训练样本目标前景区域标注加强芒果前景区域卷积特征学习的方法,减少深度卷积网络训练过程中对非目标特征的提取。为进一步扩大训练数据规模,提高训练数据多样性,使用水平镜像翻转,以及±10°、±20°旋转处理方法,对训练样本进行扩增。(2)基于Faster R-CNN的芒果目标检测。为了克服传统检测器依赖于手工设计特征、且检测精度不高的问题,本论文提出了基于Faster R-CNN的芒果目标检测。为降低图像背景区域面积远大于目标区域面积而导致负样本(背景)与正样本(芒果目标)数量不平衡对模型训练的影响,引入损失函数Focal loss以解决类别失衡问题;通过对芒果宽高比统计分析,优化锚点生成尺度及宽高比参数以增强区域生成能力。结果表明,以具有更深卷积层的VGG-16为基础网络的Faster R-CNN检测器,与以ZF、VGG-CNN-M-1024为基础网络的检测器相比,准确率分别高出14.16%和12.64%;使用尺度{64~2,128~2,256~2}、宽高比{0.5,0.6,0.7,1,2}的锚点参数及γ=1、α=0.35的Focal loss参数设置,模型性能最优,准确率达94.55%,召回率达93.17%,检测速度达11帧/秒。(3)未成熟芒果的改进YOLOv2检测方法。YOLOv2是基于回归的检测算法,可在图像上直接回归预测目标的位置和类别,具有更快的检测速度。为提高芒果检测的快速性和准确性,本文基于YOLOv2目标检测方法,通过引入密集连接网络结构和优化多尺度训练策略,设计I-YOLOv2芒果检测模型。在网络结构上,选择含9层卷积层的Tiny-yolo为基础网络,并将第7卷积层替换为自行设计的密集连接块,以增强浅层特征的利用,缓和梯度消失。结果表明,改进后准确率和召回率相比改进前可分别提高0.9%和1.34%。在网络训练上,使用多尺度训练策略,以适应自然场景中不同尺度的芒果目标,并通过对比试验,将输入尺度从448~2增大为512~2、训练尺度增大为{384~2,416~2……672~2},获得了准确率97.02%、召回率95.1%、检测速度83帧/秒的检测结果,均优于Faster R-CNN、YOLO和Adaboost模型。(4)芒果检测视觉系统的设计与实现。为给农业种植、管理等场景提供智能化、精准化辅助服务,本文通过Microsoft Visual Studio 2013编程平台与OpenCV 2.4.9计算机视觉库,设计开发了简洁、易用的芒果检测系统。其分为模型载入、数据获取、智能检测和信息输出四大模块;可实时进行芒果目标检测,并将检测结果、使用模型、目标总数、检测时间、任务状态、设备名称等信息可视化在系统界面,以供用户直观、清楚地掌握相关检测情况。