智能化农业的目标就是用机器取代人从而解放生产力,通过提高生产效率和降低劳动力成本,解决传统农业的弊端。可靠、准确的多类分割是高级机器人感知任务的关键组成部分。在农业机器人的背景下,图像分割算法使机器人能够理解环境、采摘作物、监测作物健康状况、产量估测,是机器人取代人力完成任务的前提和基础。针对实际果园场景下芒果分割和采摘过程中存在的遮挡、重叠、小目标等问题,本文研究了基于改进FCIS的芒果实例分割算法、基于改进Mask R-CNN的芒果实例分割算法,以及基于Mask R-CNN关键点检测的芒果采摘点检测算法。最后为了将研究落地,设计和开发了芒果实例分割及采摘点检测系统,实现了便携笔记本上的芒果实例分割及采摘点检测任务。本文主要研究内容和创新如下:（1）数据集及模型评价指标。数据是深度学习算法的基础,而且数据的好坏直接影响了训练得到的模型性能。数据的多样性使训练的模型可以应对更多的情况,鲁棒性更强。本文芒果数据采集于自然果园场景,涵盖了实际采摘过程中可能遇到的问题,如光线变化、背景干扰,特别是果实遮挡、重叠及小目标。另外人工对采集整理后的数据进行了图像增强和扩增,如改变图像的对比度、亮度、色度与锐度等。为了更准确的区分不同尺寸目标,本文按像素面积将芒果划分为大、中、小三个等级。使用Labelme工具对芒果进行人工标注,得到训练集、验证集以及测试集的JSON文件。本文采用COCO数据集的评价指标衡量模型性能,并分析了评价指标的全面性和准确性。（2）基于改进FCIS的芒果实例分割算法研究。FCIS是基于位置敏感分数图（score map）的实例分割算法。FCIS未针对每个ROI添加全连接层或卷积层进一步提取特征,而是直接通过位置敏感图分出前景与背景以及类别信息。本文引入PSROIAlign,使得ROI池化到位置敏感分数图上的位置更加精准,最后分割结果也更精确。在主干卷积引入特征金字塔结构（FPN）,通过在不同尺寸特征图上生成ROI,实现对不同尺寸芒果个体的有效分割。为了进一步实现轻量化的目标,将基础卷积的Res50替换为Mobile Net V2结构,实现了模型的大幅压缩和提速。最终模型的AP达到70.10%,大小只有47.00M。（3）基于改进Mask R-CNN的芒果实例分割算法研究。Mask R-CNN算法是在Faster R-CNN的基础上通过增添一条FCN分支实现实例分割。本文为了进一步增强底层特征与高层特征的融合,在FPN的基础上搭建FPN-BU结构,大大缩短低层特征图与高层特征图的融合路径,实验结果证明FPN-BU结构带来分割精度的提升。为了进一步提高重叠果实的分割精度,用Soft-NMS代替NMS,避免对重叠锚点框的误删,增强了模型在果实重叠情况下的分割性能。为了进一步提高FCN掩码预测分支的特征提取能力和加强梯度的反向传播,将原本4层普通卷积替换为残差结构,带来了最终分割精度的提升并使网络易于训练。三种改进都带来了精度上不同的提升,最后AP达到了83.00%。在重叠、遮挡数据集上的效果也证明了改进策略的有效性。对比实验还体现了改进Mask R-CNN分割精度上的领先优势。（4）基于Mask R-CNN的芒果采摘点检测。传统方法定位水果采摘点需要复杂的步骤和人工干预,而且最终检测精度不高,鲁棒性差。在研究了深度学习关键点检测算法架构后,本文基于Mask R-CNN的人体关键点检测算法,设计了芒果采摘点的自动检测方法。模仿人体关键点在芒果及果梗选取三个关键点（P1、P2、P3）,其中P1是真正的采摘点。将标注数据送入Mask R-CNN算法进行训练来预测关键点掩码,最终实现芒果采摘点的自动检测。针对297个标注采摘点的检测准确率达到92.90%,召回率达到96.97%。并且还与传统采摘点检测方法进行了对比实验,准确率占据优势,却没有传统方法复杂的步骤。（5）芒果实例分割及采摘点检测系统设计与实现。本文利用高性能便携笔记本、海康威视半球网络摄像机、海康威视硬盘录像机等硬件设备,通过Pycharm、Microsoft Visual Studio 2013等软件,将训练好的模型进行封装,设计了基于Windows下的芒果实例分割及采摘点检测系统。系统由数据获取、数据解码及预处理模块、模型选择及调用模块、自动分割及检测模块、结果显示模块五部分组成,实现了芒果目标的自动分割、采摘点定位、产量估测与计数等功能。