论文部分内容阅读
为了实现UAV在全天候下对目标进行侦察,需要对基于同一场景或者目标的两幅或者多幅多可见光、红外等光电图像进行融合,利用融合之后的图像进行目标检测识别及跟踪处理。由于无人机控制系统闭环周期短,为了与飞控周期匹配,无人机视觉系统各个环节的算法也必须满足实时性要求。本文基于视觉处理算法和飞行控制原理,研究了UAV快速光电图像融合、目标检测及目标跟踪等方面的关键技术。主要研究工作及创新点如下。1.本文基于IFBSC算法,提出并实现了CU-IFBSC视频融合算法。(1)原始IFBSC图像融合算法仅仅能够融合单通道灰度图像,CU-IFBSC视频融合算法在IFBSC的基础上实现了RGB彩色图像的融合;(2)对IFBSC融合算法中可并行的算子进行并行优化,在融合效果基本不变的情况下,使得算法性能得到20倍左右的提升。(3)原始IFBSC算法只能对分辨率相同的可见光图像和红外图像进行融合,而无人机吊舱中的可见光相机和红外相机分辨率不同,CU-IFBSC算法基于图像仿射变换,可直接实现对吊舱相机原始图像进行融合。(4)在无人机嵌入式平台上实现了CU-IFBSC算法。2.本文基于SSD目标检测算法,在无人机嵌入式平台上,实现了对地面目标(包括人和车辆等)的检测。通过分别对可见光视频、红外视频以及融合视频进行目标检测,对比检测结果,发现在烟雾背景下,SSD算法对融合视频的有效检测率相对于可见光视频检测率提高了35.6%,相对于红外视频检测率提高了88.4%;另外,融合视频的平均目标识别率也相对较高,相对于可见光视频识别率提高了23%,相对于红外视频识别率提高了24%。3.本文基于TLD目标跟踪算法和SSD目标检测算法,提出并实现了一种可自动选择跟踪目标的跟踪算法,即SSD_TLD算法。然后在无人机嵌入式平台实现了该算法;最后分别对可见光视频、红外视频以及融合视频进行目标跟踪处理,对比跟踪结果,发现TLD算法对融合视频的跟踪成功率相对较高,相对于可见光视频的跟踪成功率提高了13.3%,相对于红外视频跟踪成功率提高了31.9%。