论文部分内容阅读
随着人工智能的快速发展,对智能视觉系统提出了更高的要求。为了解决智能视觉系统中的高级语义理解问题,在过去的十年间,研究人员开发了一系列基于深度学习网络的目标检测算法。得益于全球无人机产业的蓬勃发展,无人机已被应用于搜索救援、视频监控、灾情预警等诸多领域。然而,无人机视角下的目标检测任务仍存在着目标尺度变化大、目标背景异常复杂、小尺度目标多等诸多挑战。针对无人机视角下的目标检测算法存在的问题,本文提出了两种高效的目标检测算法,自制了一个夜间目标检测数据集,并应用于自主无人机系统。本文的主要研究工作如下:（1）提出基于YOLO-Drone（You Only Look Once in Drone,YOLO-Drone）的无人机视角下的小目标检测算法。首先,基于YOLOv3架构,加深其原有主干网络在浅层阶段的深度,提出基于Darknet59的四尺度检测器结构。其次,在颈部网络中融合空间金字塔池化（Spatial Pyramid Pooling,SPP）和空洞空间金字塔池化（Atrous Spatial Pyramid Pooling,ASPP）,提出高特征聚合网络MSPP-FPN。最后,引入广义交并比（Generalized Intersection over Union,GIo U）损失作为算法的位置损失,以使目标框回归更加合理。将YOLO-Drone算法应用于UAVDT（Unmanned Aerial Vehicle Detection and Tracking,UAVDT）数据集。实验表明,本文提出的YOLO-Drone算法平均精度均值（mean average precision,m AP）最高可达34.0%,普遍高于SSD、RON、Faster RCNN等经典目标检测算法、近几年的小目标检测算法和YOLO同系列算法。因此,本文提出的YOLO-Drone算法对于一般无人机视角下的目标有良好的检测效果,具有较高的应用价值。（2）提出无人机视角下基于硅基金黄光LED光源下的夜间小目标检测。首先,本文制作了硅基金黄光LED光源下的第一个夜间行人检测数据集UAV-LEDG;其次,将YOLO-Drone算法应用于UAV-LED-G数据集,分析了硅基金黄光LED光源在夜间检测任务中的优势;最后,基于YOLO-Drone算法和NVIDIA Jetson Xavier NX开发板搭建了自主无人机巡逻系统,完成了算法落地。实验结果表明,相比于普通光源,硅基金黄光LED光源可极大提高YOLO系列算法在夜间目标检测任务中的性能,在UAV-LED-G数据集上YOLOv3算法的m AP达到87.41%,YOLOv4算法的m AP达到87.37%,YOLO-Drone算法的m AP高达87.71%,远高于普通光源。在UAVDAT-night数据集上,YOLO-Drone算法在夜间目标检测任务中性能超越YOLOv3、YOLOv4,m AP高达73.75%。因此,硅基金黄光LED光源在夜间目标检测任务中有显著优势,本文提出的YOLO-Drone算法在夜间目标检测任务中有普遍优势。（3）提出基于YOLO-TBS（You Only Look Once Based on Transformer,Bi FPN and Small Object Detector,YOLO-TBS）的无人机视角下复杂场景的小目标检测算法。首先,基于YOLOv5架构,在其C3结构中结合Transformer编码器提出Trans C3结构,使主干网络能够获取丰富的上下文信息;其次,新增一小目标检测器,提升了网络对小尺度目标的检测能力;最后,使用Bi FPN结构进行多尺度融合,使颈部网络能够融合更多同尺度信息。将YOLO-TBS算法应用于Vis Drone2021-DET（The Vision Meets Drone Object Detection in Image challenge2021,Vis Drone2021-DET）、UAV-LED-G数据集和UAVDT数据集。实验表明,本文提出的YOLO-TBS算法均能获得较高的准确率,YOLO-TBSl在Vis Drone2021-DET-test-dev、Vis Drone2021-DET-val、UAV-LED-G上的m AP分别达到49.27%、58.27%、94.0%。YOLO-TBSx在UAVDT上的m AP达到36.1%。性能超越了YOLOv5系列比照算法以及多数现有目标检测算法,与此同时,YOLO-TBS系列中的部分算法,如YOLO-TBSx等超越了本文提出的YOLODrone算法。因此,本文提出的YOLO-TBS算法对于无人机视角下复杂场景的目标有较好的检测效果,具有较好的实际应用价值。综上,本文针对无人机视角下目标检测难度高的问题,提出了YOLO-Drone和YOLO-TBS两种小目标检测算法,获得了较好的检测效果;自制了夜间硅基金黄光LED光源下的行人检测数据集UAV-LED-G,为夜间目标检测提供新的解决方案;搭建了自主无人机巡逻系统,完成了算法的实际应用。因此,本文从数据、算法、应用平台三个方面探索了无人机视角下的目标检测研究与应用。