融合对抗网络的Mask R-CNN芒果检测与分割研究

来源 :华南农业大学 | 被引量 : 0次 | 上传用户:hellolvkui
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像的检测和分割任务使机械能够理解和感知周围环境,确定果实的具体位置和果实自身的生长信息,是自动施药、喷洒灌溉和采摘等生产工作的重要前提。针对自然果园场景下的芒果检测和分割中存在的一些难题,诸如芒果表皮光照不均、枝干枝叶遮挡以及果实重叠等,本文提出了融合对抗网络的Mask R-CNN(Mask Region-Convolutional Neural Networks)算法,以及结合Box IOU改进的Mask Scoring R-CNN算法。最后设计开发了芒果检测与分割系统,从而实现果园场景下的芒果高精度检测和实例分割。本文主要的研究工作和创新内容如下:(1)芒果数据库的建立。深度学习模型往往需要基于大规模的数据进行训练。而训练过程所用到的样本数据的数量、质量和多样性,都会直接影响到最终模型的性能。本文从自然果园场景中采集芒果图像数据,包含了多种不同程度的表皮光照不均、枝叶遮挡和果实重叠情况;芒果种类包括台农1号、澳芒和椰香芒等,从而获取了多样性十足的芒果数据。此外,利用Label Me标注软件进行芒果的实例掩膜标注,再进一步把所有数据随机划分为训练集、验证集和测试集,构建芒果数据集。其中,测试集包含光照不均、枝叶遮挡、果实重叠以及小中大目标等类别。本文采用了公开数据集COCO的评价指标和PR曲线等指标,以全面准确地评价本文模型的优势和劣势。(2)融合对抗网络的Mask R-CNN的芒果检测分割算法研究。本文在Mask R-CNN算法结构的基础上,在Mask分支上新增一个全卷积网络,作为多尺寸特征融合判别网络,并使原本的Mask R-CNN结构作为生成网络,两个网络以交替对抗的策略进行训练,从而形成对抗网络。其中优化的对抗损失采用本文设计的融合Smooth L1+IOU(Intersection over Union)损失。Smooth L1损失用来度量两个特征矩阵的差异性,IOU损失则用来衡量两个二值掩膜的相似性,将二者结合起来可以使模型性能明显提高,最终在总测试集上的分割AP达到85.1%,光照不均测试集的分割AP达到87.9%,枝叶遮挡测试集的分割AP为86.3%,以及果实重叠测试集的分割AP为81.1%。此外,还使用了小批量训练的优化方法,进一步优化模型的训练过程。实验最后设计了多个对比实验,包括模型在不同测试集上的表现,进一步展示了融合对抗网络的改进算法的优势。(3)结合Box IOU改进的Mask Scoring R-CNN芒果检测分割算法研究。本文在ROI Align(Region Of Interest Align)层后添加了一个由三层全连接层构成的Box IOU并行分支结构,为RPN(Region Proposal Network)输出的候选框预测IOU得分,再将此得分与分类置信度进行加权耦合,作为最终测试阶段的非极大抑制的排列依据,以此筛选出定位更准确的检测框,从而提升模型的性能。其中IOU得分的耦合因子通过验证集实验筛选为0.6。最后,在多个不同的芒果测试集上验证改进算法的性能,并与其它算法进行对比和分析,证实Box IOU改进算法的有效性。最终模型在芒果总测试集的检测AP达到82.6%,在光照不均测试集的检测AP达到了85.5%,枝叶遮挡测试集的检测AP达到83.5%,果实重叠测试集的检测AP为79.1%。(4)芒果检测与分割系统的设计与实现。本文通过高性能的笔记本电脑和海康威视的半球网络高清摄像机等硬件设备,以及结合Microsoft Visual Studio 2013和Pycharm等开发软件编程实现了芒果检测与分割系统的页面和功能。系统功能主要涵盖数据选择、模型选择、任务选择以及结果展示四大项。能够实现离线或在线的芒果图像或视频帧序列的检测、分类与分割。主界面能够展示所选模型的信息、任务信息、执行耗时,以及芒果目标个数等。
其他文献
无线传感器网络作为一种新型的信息获取和信息处理方式,是由数以千计的微型传感器节点组成的具有多跳性、自组织网络特性的一个系统。随着微机电技术、嵌入式技术和无线通信等技术的发展,无线传感器网络取得了飞速的发展且已经被应用到了诸多领域。而无线传感器网络在应用中实现其功能的前提条件是确定网络中传感器节点位置,节点定位技术也因此成为无线传感器网络技术中的核心技术之一,吸引国内外科研人员对其投入研究。本文也将
学位
随着我国水产养殖业的迅速发展,养殖智能化和标准化逐渐成为主要的发展方向,其中采用自主航行无人船进行投饵和水质监测作业是一种劳动强度低、自动化程度高的养殖方式。高精度环境地图和不规则水岸以及增氧机等水域内障碍物是影响无人船自主作业的关键因素,为此,获取高精度的环境地图和准确的障碍物信息对无人船自主航行具有重要意义。针对上述问题,本文开展了基于三维激光雷达的养殖水域点云特征提取与障碍物检测研究,主要研
学位
动物个体识别在生产管理、控制重大疾病爆发、疫苗接种和产品追溯中发挥了重要作用,而图像精准识别作为计算机视觉领域重要的基础性课题,是家畜智能化养殖的核心技术之一。在牛场监控应用中,受摄像头安装位置距离奶牛较远、分辨率较低等因素影响,奶牛识别准确率受到严重影响。本文尝试将超分辨率网络与识别网络结合起来恢复牛头识别信息,提高牛头的识别性能。具体内容如下:(1)通过使用包括手机、数码相机等多种设备收集牛场
学位
随着计算机技术的飞速发展和数据量急剧增加,数据挖掘已经成为信息研究技术中非常重要的领域,其研究方向主要包括:关联分析,预测,聚类,模式识别,分类等等。其中,聚类分析是数据挖掘技术中的研究热点,其目标是发现给定数据集中的固有结构,将该数据集划分为一定数量的簇,以使得簇中的对象尽可能相似,不同簇之间的对象尽可能不同。而为了在多个聚类中利用丰富和互补的信息,集成聚类已经成为聚类研究中热点研究方向之一。集
学位
鉴于目前沙糖橘人工检测分级存在检测效率低、成本高,主观因素影响大、标准不同意等导致精度低,以及沙糖橘在线连续自动化分级研究少等问题,针对沙糖橘果蒂、果柄、缺陷、纹理等是沙糖橘分级难点,采用单摄像头和环形LED光源提取沙糖橘正面图像,通过对不同新鲜程度的沙糖橘图像进行大量试验和统计分析,确定出沙糖橘图像的采集方法、预处理方法和分割方法,并从图像中提取出沙糖橘果径、纹理和表面缺陷等与品质相关的特征信息
学位
遗传算法作为一种全局并行搜索的优化工具,正被应用于各大领域。例如在聚类分析当中也极其受到重视,应用于图像分割、数据挖掘方面等。遗传算法重要特征是全局优化技术,遗传算法利用已知的适应度值来指导搜索,并不是盲目的在搜索空间中探索最优值。由于遗传算法的特性,往往会出现收敛速度慢和局部最优等问题。众多学者通过,增加种群数目,对遗传算子改进,使用混合算法等方法进行改进,但是往往不能获得收敛速度加快和全局最优
学位
水稻是一种大田农作物,是我国重要的粮食经济作物之一,被广泛的种植与生产。在水稻的种植过程中,杂草是影响水稻生产的重要因素之一。农田杂草主要是指那些较大范围生长在农田区域中,非人工种植的草本植物。因此,对于水稻农田中的杂草进行有效的防控对于保证水稻的产量和质量具有十分重要的意义。当前在我国使用范围最广的杂草防控方式就是化学防控,化学防控顾名思义就是使用化学农药对杂草进行喷洒。在消除杂草的同时也会对水
学位
雾滴的沉积参数是评价植保机械性能的最主要指标,针对传统的雾滴图像参数检测存在耗时费力、操作繁琐且算法的检测精度低,泛化能力差等问题,提出了基于深度神经网络的雾滴沉积参数快速检测的模型,对比分析了多种雾滴分割算法的准确度,以及优化粘连雾滴分割算法提高模型的精度。本设计以雾滴作为研究对象,通过UAV喷洒农药,利用采集装置中水敏纸收集,CCD摄像头采集到雾滴图像,WIFI无线模块上传到上位机,构建雾滴图
学位
农用无人机是我国近年来发展势头迅猛的农业科技产品,农业航空产业的重要代表之一。众多科研人员的研究表明,农用无人机作业高度与作业质量有着重要联系。在农用无人机监测领域,国内外对于高度监测研究较为成熟,但在农用无人机距作物冠层的高度监测方面研究较少。针对单一高度监测传感器监测可靠性和稳定性较弱的特点,提出了一种基于最值算法结合BP神经网络的多传感器融合高度监测方法,适用于农用无人机在成片种植且冠层较为
学位
随着经济的发展,中国成为世界水果生产和需求大国。据统计,中国每年因水果储藏、保鲜技术问题造成了巨大损失,这大大影响了中国农业经济的发展。传统的储藏、保鲜技术大都存在一些成本高、效率低、工艺繁琐等问题。光催化技术在降解污染物技术中应用广泛,近年来,光催化技术在水果保鲜方面有着进一步的研究,但仍存在一些装置设备成本高、功耗大、体积大、催化效率不高等问题,因此,亟需设计一款成本低、功耗小、体积小、催化效
学位