基于特征生成的零样本目标检测方法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:joyuan100
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目标检测旨在对图片中的目标进行定位和识别,随着深度学习与高精标记数据集的快速发展,该视觉任务取得了重大进展。然而,很多情况难以获得训练样本,这极大限制了识别类别的种类,阻碍了目标检测的实际应用。因此,近几年零样本目标检测得到了广泛的关注。零样本目标检测任务是在测试阶段定位并且识别训练阶段未见过的类别。该任务不需要进行繁重的数据采集,只需要对每个类别进行语义信息标注。与完全监督目标检测相比,零样本目标检测可以大大降低实际应用的标注需求。本文结合目标检测网络和生成对抗网络,在给定语义信息标注下,研究零样本目标检测问题,主要工作反映如下:首先,本文针对零样本目标检测中不可见类与背景混淆的问题,提出了基于语义信息的区域提议网络。通过语义信息和可见类别的视觉特征,使用条件生成对抗网络进行不可见类别的特征合成。最后利用这些合成特征更新区域提议网络中的目标置信度预测器。通过对比现有的方法和消融实验,证明了基于语义信息的区域提议网络能够一定程度上解决不可见类和背景互相混淆的问题,为本文后续的零样本目标检测整体框架的建立提供了基础。其次,本文针对零样本目标检测中的中心点问题,即某一类的语义特征成为大多数类别的最近邻点,提出了用于零样本目标检测的生成迁移网络。该网络将零样本图像识别中的生成式方法引入零样本目标检测框架中。该框架首先利用可见类别数据训练目标检测网络,然后使用可见类别的区域特征以及对应的语义嵌入训练生成网络,接着利用生成网络合成不可见类别的区域特征,最后使用这些合成特征更新零样本目标检测网络的识别分支。通过充分的对比实验和消融实验,证明了本文提出的生成迁移网络实现了较高的零样本目标检测基准性能。最后,与零样本图像识别网络不同,零样本目标检测模型受限于区域特征提取的效果,这些区域特征不仅包含类内特征变化,也包含边界框IoU(交并比,Intersection over Union)变化,所以零样本目标检测网络需要对区域特征的IoU变化具有一定的鲁棒性。基于此,本文提出了一种具有IoU感知的生成对抗网络,该网络可以嵌入上述基于特征生成的零样本目标检测框架中。具有IoU感知的生成对抗网络首先利用标准框特征以及对应的语义嵌入进行标准框特征合成训练,接着再将IoU变化加入标准框特征中。通过充分的对比实验和消融实验,证明了 IoU变化对基于特征生成的零样本目标检测框架的重要性。本文通过引入语义信息和生成对抗网络来解决零样本目标检测中不可见类别与背景混淆问题以及中心点问题,然后提出具有IoU感知的生成对抗网络使得零样本目标检测网络对区域特征的IoU变化具有鲁棒性。本文提出的改进算法及其核心思想为零样本目标检测提供了新颖的视角与思路,对该领域的学术研究具有重要意义。
其他文献
<正> 瞿钧,这位上任才两个多月,主抓基础教育工作的上海市教委副主任.在8月26日首次面对全市各区县教育局党委书记、局长讲话。这次讲话给人留下了务实、高效、专业的印象。在这两个多月里,他几乎走遍了中心城区、偏远郊区的所有教育局:他到条件最差的学校,到民办或转制学校进行摸底考察:他随教委考察团赴江苏、浙江开展实地比较:他多次前往市教委教研室,直面课改的核心问题与专家共同探讨,顺利完成了从一名副区长到
期刊
激光诱导击穿光谱(Laser-induced breakdown spectroscopy,LIBS)技术具有快速、原位、实时以及多元素同时检测等优点,被广泛应用于环境监测、工业生产及医药食品检测等众多领域。由于LIBS检测技术会受样本性质、仪器设备及环境等影响而引起光谱波动,导致其在定性识别中准确率降低。提高准确率通常依靠硬件设备和数据处理两种方法。硬件设备改造空间小且费用昂贵,而数据处理方法在
学位
红外窗口是空天导弹和飞行器的关键部件,具有传输红外信号、保持气动外形和保护成像系统等重要作用。快速又精确地测量红外窗口薄膜材料的光学常数,是薄膜工作者研究后续镀膜工艺的关键步骤。针对目前常用薄膜软件对中红外吸收型薄膜材料光学常数计算效果的不足,设计了一款计算可见光-中红外波段薄膜材料光学常数的应用程序。主要研究内容包括以下几个方面:(1)分析了中红外薄膜材料中可能存在的水吸收效应,使用Drude-
学位
近年来,新能源清扫车以其排放少、噪音小等优点,逐渐在城市道路清扫工作中普及开来。为进一步提高新能源清扫车的性能,可以引入嵌入式平台,对路面的清洁情况进行感知。本文针对此需求,设计了一种智能清扫车路面垃圾检测系统软件,为机器视觉算法的部署提供设备控制、数据管理和远程调试功能。本文分析了应用于智能清扫车的路面垃圾检测系统的功能需求,从降低系统资源占用的角度将系统分为控制端和监控端两部分。控制端部署于嵌
学位
涡旋光束是一类携带轨道角动量的特殊光束,其波前呈螺旋型,光场分布呈环状。这些特殊的性质使得涡旋光束在微型粒子操纵、光信息传输以及激光整形等领域有着广泛的应用,尤其是环半径不随拓扑荷数改变的完美涡旋光束。近年来,对完美涡旋光束的研究不再局限于光场呈圆对称的传统光束,越来越多不同模式的完美涡旋光被提出,这对于信息传输、光束整形等具有重要意义。本论文基于飞秒激光直写技术,设计并制备了用于实现不同模式完美
学位
随着国家城市化进程的不断加快,地下轨道交通作为一种能极大缓解城市人口流动压力且几乎不会对地面交通产生影响的公共基础设施,已成为国家的重点建设工程。然而,随着承载地下交通的盾构隧道服役时间的增加及岩土层压力、地质环境、第三方施工等因素的影响,隧道结构将会出现各种病害问题,这存在极大的安全隐患,亟需对隧道结构实时监测。目前,隧道结构监测设备主要采用激光扫描仪、静力水准仪、全站仪和基于视觉的系统,它们具
学位
傅里叶变换光谱仪(Fourier Transform Spectrometer)-FTS主要工作在红外或近红外波段内,可用于多种化学物质以及生物材料的成分分析,具有较高的灵敏度与准确性,广泛应用于食品安全、环境监测、工农业生产等诸多领域。传统傅里叶变换光谱仪体积大、价格昂贵,常用于实验室研究或者分析中心测试。而基于微机电系统(Micro-electro-mechanical Systems)-ME
学位
光电成像系统的主要功能是获取目标物体的图像信息,近年来随着光电成像技术应用的不断深入,图像测量技术已在工业检测、科学研究、国防及人们的日常生活中得到了广泛的应用。在许多工业检测的现场应用中,光电成像检测系统需要在得到目标物体图像信息的同时,也获得目标的距离信息,以满足系统高精度测量的要求。因此,研究基于光电成像的距离测量方法,提高其测量精度,对拓宽光电成像检测系统的应用领域具有重要的实用价值。本论
学位
道路清洁是建设卫生城市的重要关注点之一,而清洁程度指标是评判路面是否干净的重要依据。路面清洁程度的评判若是人工进行,效率低下,而多数清洁程度评判算法部署后无法满足作业车辆高实时性、低成本、低功耗要求。如何解决路面清洁程度评判算法部署并满足系统高要求是一个值得研究的问题。针对上述问题,本文对路面清洁程度评判算法和算法如何部署展开研究,主要包含以下工作:研究了一种基于FPGA的路面清洁程度评判算法,该
学位
<正>2022年央视的《开学第一课》以“奋斗成就梦想”为主题,分为“砥砺奋斗、接续奋斗、团结奋斗”三个篇章,聚焦党的十八大以来我国经济社会发展取得的历史性成就,邀请“时代楷模”、“八一勋章”获得者、载人航天工程总设计师、科学家、冬奥冠军、考古学家等奋斗者现身说法,讲述新时代的奋斗故事。节目值得一提的是,将课堂“搬到”了中国空间站的问天实验舱,通过AR技术1:1在演播厅现场还原实验舱。正在太空“出差
期刊