基于对象性增强模型的多波段目标检测系统

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:zkk81950868
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
无人机技术的逐渐成熟以及深度学习的迅速发展,使得研发智能化的无人机成为可能。然而,由于嵌入式设备的内存和计算能力有限,通过在无人机平台上部署目标检测进行实时场景解析极具挑战性。现阶段基于深度学习的主流目标检测算法基本可以分为Two-Stage算法和One-Stage算法两大类,Two-Stage算法检测精度高但是检测速度慢,One-Stage算法检测速度快但是检测精度有所欠缺。本文结合这两种算法的优势,利用对象性先验来增强One-Stage算法的检测效果,研发了一套基于对象性增强模型的机载多波段目标检测系统。本系统在无人机上搭载由红外热像仪和可见光相机组成的共光轴图像采集设备,利用嵌入式平台实现全天候实时目标检测,并将目标检测结果实时反馈给无人机飞控模块。本文研制的系统为无人机提供了视觉感知能力,使得无人机更加智能。主要研究工作如下:(1)本文在One-Stage目标检测算法的框架下引入语义分割的思想,设计了对象性估计模块,形成对象性增强目标检测算法OEDet(Single-Shot Detector with Objectness Enhancement)。对象性估计模块对全图像素点进行对象性的预估,输出每一类目标的目标分布概率图来为目标检测任务提供像素级对象性先验并抑制背景特征对检测结果的干扰。(2)利用空洞卷积设计了多尺度融合模块。多尺度融合模块整合不同尺度的特征信息来增强One-Stage检测网络浅层特征的多尺度信息,以提升目标检测的准确率。(3)研制了一套基于深度学习的机载多波段目标检测系统。论文立足于OEDet算法,基于模型压缩的方法,提出了轻量型对象性增强目标检测算法OEDet-Lite,以适应无人机航拍目标特性以及嵌入式平台计算资源。经在公开数据集VOC和COCO上进行的实验验证,512×512的输入图像尺寸下本文的OEDet目标检测模型在VOC2007-test上mAP高达81.7,在COCO test-dev2018上mAP高达32.8。OEDet相比目前的主流One-Stage算法具有更高的准确率,相比目前的主流Two-Stage算法具有更快的检测速度,达到了目标检测精度与速度的平衡。在系统航拍的可见光与红外车辆数据集上,本文OEDet-Lite无人机航拍车辆目标检测模型(参数量:14.22M,计算量:0.4712G,VIS mAP:88.94,IR mAP:89.46)对比主流One-Stage目标检测算法SSD(参数量:23.75M,计算量:30.45G,VIS mAP:88.06,IR mAP:90.03)取得了显著提升。
其他文献
随着社会经济和科学技术的快速发展,以老年智能手环为代表的智能产品为智慧养老提供了解决思路。然而,目前针对老年智能手环的研究和发展主要集中在功能创新和技术实现层面,缺少对人机交互方式的研究,现有产品复杂的功能信息和不友好的交互方式导致老年用户产生抵触心理。本文从用户行为逻辑的角度出发,将认知经验、行为习惯等内容与老年智能手环交互设计要素相结合,以降低老年用户的学习、认知和操作成本。首先,梳理行为逻辑
同时定位与地图构建(Simultaneous localization and mapping,SLAM)是一种同时获取未知环境三维结构和环境中传感器运动的技术。语义SLAM将语义信息包含到SLAM流程中,通过提供高层语义信息来增强SLAM系统的性能。将深度学习等人工智能方法与SLAM结合在一起,可以同时实现场景几何地图构建和语义信息提取的计算,这对于智能机器人定位与规划具有重要意义。本课题对基于
单兵虚拟作战平台是通过数据调整与虚拟仿真模拟复杂战场环境的综合作战平台,基于此平台的应用方式与虚拟技术优化自动步枪试验定型过程中的人机工效评价流程是本文所研究的重要方向,以此方向进行设计实践与设计评估。本文通过数据调研与实验方式开展基于单兵虚拟作战平台的自动步枪人机工效评价研究与设计实践,具体工作内容如下:分析自动步枪人机工效评价方法,确定了基于单兵虚拟系统的子系统的建立条件。通过研究,建立人枪肌
目标跟踪是计算机视觉中的重要研究方向之一,广泛应用于智能监控、人机交互、制导控制等领域。经过几十年的发展,研究人员提出了许多经典、优秀的跟踪算法,但由于实际环境的复杂性与目标的多变性,如光照变化、形变、遮挡等,目标跟踪仍然是一个非常具有挑战性的任务。近年来,精度与速度兼具的相关滤波跟踪算法吸引了研究者的广泛关注,而判别式尺度空间目标跟踪算法DSST是相关滤波算法中的代表算法之一,该算法基于MOSS
视频序列中的目标跟踪是一项基础且重要的计算机视觉任务。无论是在学术研究还是工业应用中,目标跟踪都有着深刻的研究意义与广泛的应用前景。本文基于多目标跟踪框架,探讨在密集场景下的目标跟踪。针对目标漏检、数据关联以及目标更新这三个方面,展开了深入的研究,主要研究内容与成果如下:(1)融合基于通道与空间置信度的相关滤波器跟踪结果在线跟踪多目标。本文研究发现在基于检测结果的多目标跟踪算法中,若目标被遮挡、或
同步定位与地图构建(Simultaneous Localization and Mapping,SLAM)技术用于解决机器人在未知环境中的定位和建图问题,是实现机器人自主定位的关键技术,对机器人踏入实际应用领域具有重要意义。近年来,视觉SLAM技术依靠相机的成本低、获取信息量丰富等优势,成为研究热点。数据关联是SLAM系统的核心技术,旨在寻找观测信息与环境地图的对应关系,稳定准确的数据关联是SLA
细粒度图像识别近几年来在计算机视觉领域受到了广泛的关注,其任务是识别在外观信息以及语义信息都非常相似的物体子类,例如识别不同种类的“鸟”:如“棕头鸦雀”、“百耳画眉”,“赤腹山雀”等(或者识别不同种类的车:如“丰田”、“本田”、“路虎”等),具有广泛的应用前景。与传统的图像分类相比,细粒度图像识别的不同和难点在于:一是类间差异非常细微(比如鸟的不同子类或车的不同子类),不同子类对象间的差异主要体现
目标检测是计算机视觉中一项基础关键的任务,在各种商业和军事领域都有着广泛的应用,具有重要的意义。一些应用场景,例如自动驾驶,不仅需要检测出目标在图像中的位置,还需要估计出目标的距离,因此如何高效地检测出目标的位置并且估计出目标的距离成为了一个极具挑战性的问题。多路复用成像设备使用一个感光元件接收并编码多个镜头视角下的画面信息,减少了数据通信和存储的开销。多路复用成像设备往往配有图像重建算法,用来恢
包商银行破产冲击了投资者对金融债隐性担保的预期,本文研究打破同业兑付是否系统性改变同业存单的发行定价。研究发现,包商银行破产后,尽管市场提升了对信用风险的感知,发行主体的评级和银行类型在同业存单定价过程中的作用得到增强,但流动性分层和信用分层的现象也变得更加明显,发行人和债项本身等基本面信息对发行利差的解释力度下降,这事实上恶化了同业存单市场的定价效率。同时,异质性分析表明包商银行事件会加剧中小银
基于三维点云数据的室内场景理解是计算机视觉领域的重要研究内容,它指的是对三维点云数据直接处理,将场景进行语义级别和实例级别的分割。随着三维传感设备性能的不断提高,点云数据的获取也变得越来越容易。有效的点云分割是自动驾驶、机器视觉和遥感测绘等高层次视觉任务的基础,具有广阔的应用前景。本文的主要工作如下:(1)本文提出了一种基于特征选择的点云语义分割技术。由于现有的点云语义分割方法都忽视了特征通道之间