论文部分内容阅读
目标检测是计算机视觉中最基础的部分,也是该领域的研究难点和热点之一。近年来,随着深度学习的快速发展,基于回归方式的Single Shot Detector（SSD）算法,即直接预测边界框坐标和类别的单阶段目标检测算法,具有实时性好、准确率高的优点,得到广泛的关注。然而,在实际工程应用上,现有SSD算法仍然存在小目标、部分遮挡目标和低分辨率目标检测精度低,以及在低成本GPU硬件平台或嵌入式芯片上模型参数量和计算量大、运行效率低的问题。为解决这些问题,研究检测精度更高且检测速度更快的目标检测算法,应用到实际场景的目标检测中,不仅能满足实际工程应用需求,还能促进SSD算法的大规模使用,同时加快目标检测技术的发展,具有重要的理论和现实意义。本文深入研究SSD算法的基础理论,采取将深层和浅层特征进行上下文语义信息融合的方法,提升小目标检测精度;采取将锚点框的回归分解为两步的由粗到细的方法,提升部分遮挡目标检测精度;采取用感受野块代替主干网络和多尺度特征提取网络中的部分卷积层的方法,提高目标的特征提取能力,提升低分辨率目标检测精度;采取用深度可分离卷积代替标准卷积的轻量化方法,在低成本硬件平台和嵌入式芯片上部署,进一步提出新的目标检测算法,满足于不同场景下的目标检测需求,如通用目标检测、渔场监控下的行人和增氧机检测、监控场景下车辆标志物检测和挖掘机检测。本文的主要研究内容和创新工作包括以下几个方面:（1）详细分析了低成本GPU下SSD目标检测算法的检测性能。首先,分析其关键技术、训练技巧和评价指标;然后,在公共数据集PASCAL VOC和低成本GPU硬件平台及嵌入式芯片上进行测试。实验结果表明,现有SSD算法存在对小目标、遮挡目标和低分辨率目标漏检的情况以及在低成本硬件平台和嵌入式芯片上部署时检测效率不高的问题,主要原因是特征提取能力不够、模型参数数量和计算量过大等,为SSD算法的改进或优化指明了方向。（2）提出了基于上下文特征融合的快速目标检测算法。针对现有SSD算法在低成本硬件平台上模型参数数量和计算量较大、运行效率低的问题,引入Mobile Net V2,利用深度可分离卷积替换标准卷积,实现轻量化处理。然后结合DFPN,实现信息流从较深和较小的特征图重定向到较浅的特征图,将浅层和深层语义信息特征图进行融合,增强上下文信息,提高特征表达能力。最后,将本算法、Mobile Net V2SSD（Sandler et al.,2018）和Tiny-DSOD（Li et al.,2018）在PASCAL VOC测试集和低成本硬件平台及嵌入式芯片上进行对比测试。实验结果表明,本算法的m AP为74.51%,相比其他算法分别高出4.46%和2.55%;同时在GTX1060上,其每帧检测时间为11.8ms,与Tiny-DSOD算法基本一致,说明本算法有较好的检测精度,同时保持实时性。（3）提出了基于由粗到细的目标检测算法及应用。深入研究由粗到细的方法,将其引入到SSD算法中,对锚点框选取采用先粗后细的预测机制,提出融合上下文特征信息的锚点框优选fused-ARM模块。然后,采用TCB特征融合模块将深层和浅层进行特征融合,增加特征再提取模块FRM,增强特征提取能力。最后,在PASCAL VOC测试集和低成本硬件平台上进行对比测试,本算法的m AP为80.7%,FPS分别为27.7fps和37.9fps。同时,将其应用在渔场监控场景下的行人和增氧机检测中,m AP分别为90.1%和90.6%。在增氧机检测区域内,利用Harris算法检测水花角点和Lucaskanade光流法计算角点的光流量,得出水花角点帧间平均位移,再用Support Vector Machine（SVM）算法实现增氧机工作状态检测,平均准确率为99.78%,说明本算法不仅可适应于不同光照、角度和拍摄距离条件下的增氧机工作状态检测,同时具有较强的鲁棒性和实时性。（4）提出了基于感受野块的目标检测算法及应用。根据锚点框与感受野的关系对锚点框参数进行优化,然后,采用上下文融合的思路将RFBNet算法相邻的浅层特征图进行融合。最后,在PASCAL VOC测试集上进行对比测试,本算法的m AP为80.4%,相比于RFBNet算法和SSD算法分别提升1.8%和3.6%。同时,将其应用在车辆标志物数据集中,m AP为94.03%,同样比其他算法分别提升了1.87%和10.65%。说明本算法在检测精度上有较好的优势,对低分辨率目标具有较强的鲁棒性。（5）提出了面向嵌入式芯片的轻量级目标检测算法及应用。采用DDB构成主干网络,提高特征的表达能力,设计多尺度特征提取模块BDM。然后,在PASCAL VOC测试集上进行测试,m AP为69.5%,并在嵌入式芯片上验证,其每帧检测时间为145.2ms,相比于Mobile Net V1SSD和Tiny-DSOD算法分别加快了70.8ms和11ms。同时,将其应用在监控场景挖掘机数据集上,m AP为90.6%,然后,在挖掘机目标检测区域内,对同一品牌挖掘机工作装置的各种姿态建立混合Local Binary Features（LBF）形状回归模型,再利用上述模型预测挖掘机工作装置的形状信息,构建挖掘机的工作状态特征描述子。最后,利用SVM分类器实现挖掘机工作状态检测,准确率为93.53%,说明本方法具有很好的检测精度,且克服了光照变化以及多姿态导致的形状变化影响。上述研究工作的结果表明:本文在现有SSD算法的基础上,结合特征融合、由粗到细和感受野块的技术,能够提升算法的检测精度,解决小目标、部分遮挡目标和低分辨率目标的检测精度低的问题;同时,结合轻量化技术,能够解决在低成本GPU硬件和嵌入式芯片上的模型参数数量和计算量大、运行效率低的问题。因此,本文以SSD算法为理论基础,研究检测精度高、同时保持良好实时性的算法,拓宽了其应用场景,是一个非常前沿的研究方向。