论文部分内容阅读
随着无人机技术逐渐成熟,计算机视觉与无人机技术的融合是目前的重要研究方向之一。小型四旋翼无人机系统以其高机动性、低消耗和可悬停等优势,已经在视频航拍、军事侦察和公共安全巡查等领域得到了广泛应用。利用红外图像处理技术与四旋翼无人机平台实时跟踪感兴趣目标对夜间独自出行安全具有重要的意义。本文基于四旋翼无人机和机载红外视觉传感器设计一种夜间行人陪伴无人机,按航拍场景应用需求对YOLO目标检测算法和SiamRPN跟踪算法做改进。在自建红外航拍数据集上进行验证,完成在无人机视觉处理平台上的部署,实现在夜间对指定目标的跟踪。论文的具体工作如下:(1)根据应用需求,完成对视觉传感器、机载图像处理平台以及四旋翼无人机基本组件的选型和方案调研,构建了夜间行人陪伴无人机系统平台,设计了系统的软件架构和详细的工作流程。(2)根据红外航拍图像的特点和卷积神经网络在移动机载平台上的应用问题,基于YOLOv3提出了Slim-YOLOv3红外航拍行人目标检测方法。构建了红外航拍数据集,内含多种典型场景和3种不同的尺度,使用K-Means聚类算法对自建红外数据中的目标边界框进行分析。对YOLOv3网络中BN层尺度因子γ进行稀疏化,使用全局阈值剪枝和层剪枝策略对模型进行精简。实验结果表明,Slim-YOLOv3红外目标检测模型比改进之前具有更小的内存以及更快的推理速度,检测精度可达91.5%。(3)研究了基于孪生神经网络结构的Siamese FC和SiamRPN目标跟踪算法。红外图像中行人目标缺乏颜色纹理等信息,SiamRPN算法在感兴趣目标被其他行人遮挡情况下容易跟踪失败,引入GPS信息对跟踪状态进行检测,在跟踪失败时重新执行跟踪任务。设计一种同心圆目标搜索策略来克服红外相机成像视角范围有限问题,提高目标搜寻效率。实验证明SiamRPN算法可有效的对红外图像序列中行人目标进行预测,在Jetson TX2计算平台上运行速度可达15 fps,跟踪误差(APE)不超过3个像素距离。(4)最后对夜间行人陪伴无人机系统进行测试和分析。对无人机平台进行飞行稳定性测试,完成SiamRPN跟踪算法和Slim-YOLOv3模型在Jetson TX2平台上部署,在夜间场景下对系统进行跟踪飞行测试,并分析不同场景下的跟踪成功率。结果表明,系统可在夜间场景下对指定行人进行跟踪飞行,跟踪成功率可达87%。