基于边缘注意力与伪多光谱融合的红外目标检测算法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:otherwang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目标检测是近年来计算机视觉领域中发展最迅速、应用最广泛的技术之一,其任务是在一幅图像或一段视频序列中检测目标并分类。当前,基于可见光图像的目标检测方法已经在MS COCO、PASCAL VOC等数据集上取得了很好的检测效果。然而,可见光图像在微光甚至无光条件下十分容易导致目标丢失,这在行人检测、安防等场景下会造成严重的后果。红外图像的成像只与目标的热辐射高低有关,因此可以较好的解决这一问题。然而,由于红外图像数据集少、红外图像特征少,目前基于红外图像的目标检测模型检测效果都不甚理想。因此,本文主要研究基于红外图像的目标检测算法。目前大多数针对红外图像进行检测的算法都没有充分挖掘红外图像本身的信息。区别于可见光图像高分辨率、细节特征丰富的特点,红外图像本身颜色、纹理等可判别性特征缺少,因此其轮廓和边缘信息对于检测就显得格外重要。本文为了充分利用红外图像中的边缘特征设计了一个边缘注意力模块,促使网络关注图像中的边缘特征。同时,为了更有效利用不同尺度特征图中的互补性信息,本文设计了一个多尺度自适应特征融合模块。实验表明,使用边缘注意力与特征融合的方法较其基准Faster R-CNN算法在FLIR ADAS数据集上的mAP指标提升了1.3%,其中Bicycle的AP提升了3.2%。这验证了基于边缘注意力的红外目标检测算法的有效性和可行性。更进一步,考虑到可见光图像可以弥补红外图像本身纹理、颜色等特征缺乏的缺点,而当前由可见光与红外图像对构成的数据集还很少,本文提出了一种基于伪多光谱融合的红外目标检测算法。首先对CycleGAN进行改进,提出了边缘相似性判别器以及局部相似性损失函数实现红外图像到可见光图像的转换,生成了与红外图像匹配的伪可见光图像。同时,设计了一种基于贝叶斯融合的多光谱融合模型,将伪可见光与红外模型得到的检测结果进行融合。实验表明,基于伪多光谱融合的红外目标检测算法较其baseline在数据集FLIR ADAS上的mAP指标提升了3.77%,且相比当前最新方法有了较大提升。实验结果表明本文提出的基于伪多光谱融合的红外目标检测算法在检测精度上达到了目前的先进水平。
其他文献
随着现代科技的不断发展进步和人们生活水平的改善,消费者对饮食质量和健康状况的追求日益提高,对动植物食品的冻融方式和新鲜品质提出了新的要求。但是肉与肉制品中富含蛋白质营养成分,且水分活性较高,在冻结解冻过程中会造成食物品质的腐败变质,特别是因水分渗透性的损失,蛋白质变性和物理损伤等都会引起食品在质构,味道和颜色方面发生明显的变化,这不仅导致经济上的损失和环境污染,更严重的是危及人们的生命健康。本论文
学位
超短期风功率预测是风功率预测的重要研究内容之一。随着风电产业的发展,风功率预测经历了数十年的研究,在中长期预测任务中取得了较大的进展,而超短期预测任务由于其对预测的时间粒度要求较高,且国家规定的指标较严,一直是风功率预测的一大难题。同时,超短期预测的准确性又关乎着国家的电网安全,是一个重要而又充满挑战的实际问题。对于超短期风功率预测的研究,目前主流的方法仍是使用时序数据建模分析或结合单点NWP气象
学位
目标跟踪作为计算机视觉的一个基本问题,近年来得到了广泛的研究和应用,发展十分迅速。其任务是利用图像序列中的信息,在给定目标初始状态的情况下预测目标后续的运动状态。目前,基于可见光图像的目标跟踪方法已经在VOT、La SOT等数据集上取得了很好的效果。然而,可见光目标跟踪方法在光照不足的场景下无法正常工作,此时能够全天候工作的热红外目标跟踪方法可以发挥重大作用。现有的热红外目标跟踪方法主要基于孪生网
学位
研究一lncRNA GAS5、NEAT1、H19和MALAT1与系统性硬化症的相关性研究目的:探讨系统性硬化症(Systemic Sclerosis,SSc)患者外周血单个核细胞中GAS5、H19、NEAT1和MALAT1的相对表达水平与其临床症状之间的相关性。材料与方法:采用病例对照的研究方法,纳入的61例SSc患者和122例健康对照(Healthy controls,HC)。问卷调查收集SSc
学位
近年来,舆情事件预警已成为金融风险管控的核心任务之一。为了更加精准地分析事件的影响,需要将事件的类别进行详细地划分,这就导致金融领域的舆情事件类别繁多。一方面,由于事件本身的长尾特性,某些事件发生的频度很低,样本稀少,但这些低频事件带来的损失更加难以预测。因此,及时准确地发现这些少样本事件、尽可能减少“黑天鹅”事件带来的损失,对管控金融风险至关重要。另一方面,金融事件主体关联等特征的普遍性使得高频
学位
水凝胶是一种亲水性网状高分子聚合物,具有生物相容性、柔性、离子导电性等优良特性。通过将水凝胶作为设备和机器的关键部位所制备的水凝胶器件(如水凝胶传感器、水凝胶驱动器等)被广泛应用在药物运输、组织工程、生物研究等领域。目前以水凝胶为关键部位的所制备的器件有柔性机器人、可穿戴诊疗设备、组织胶水等,为生物医学领域开辟了一个全新的重要的技术研究领域。基于此,本文围绕水凝胶驱动和传感机理及实现对所制备的微型
学位
红细胞储存在液体悬浮介质中用于输血已有九十余年历史。在临床手术中,输注悬浮红细胞对于各种症状严重或大出血的患者是一种有效的治疗手段。然而,红细胞在低温冷藏数周后会发生储存损伤,它们的生化特性和物理结构都会发生变化,其形态从具有双凹结构的盘状逐渐转化为球形。若给患者输注这种血液,会引发大量疾病,如内脏的局部缺血等。因此,了解红细胞在储存过程中的形态变化是非常重要的。本文的研究工作从人体活体血红细胞形
学位
目的探究合肥市气象因素及臭氧(O3)与过敏性皮肤病的关联以及在疾病分型、不同人群和季节的差异,从而为降低过敏性皮肤病的患病风险以及患者的自我管理提供科学的参考依据。方法从安徽医科大学第一附属医院和中国科学技术大学第一附属医院收集在2015年1月1日到2019年12月31日期间就诊的过敏性皮肤病患者数据,并收集同期气象因素和大气污染物数据。首先,使用Spearman秩相关分析初步探索气象因素与过敏性
学位
研究背景及目的系统性红斑狼疮(systemic lupus erythematosus,SLE)是一种以自身抗原免疫耐受性丧失为特征的慢性炎症性疾病,多见于育龄期女性。前期研究表明长链非编码RNA(long non-coding RNA,lnc RNA)参与SLE的发病,而lnc RNA肺腺癌转移相关转录子1(metastasis-associated lung adenocarcinoma tr
学位
台风、暴雨等气象灾害给民众的生产生活带来了诸多不良影响,然而现有气象灾情收集工作存在人工成本高且覆盖度不足的问题。如果能从微博及新闻数据中挖掘灾情相关信息并结构化其事件表述,则可以提供实时、广覆盖的灾情监控,对灾情分析提供数据支持。为此本文基于微博短文本构建气象灾害领域事件抽取数据集,在此基础上分两步完成事件抽取。首先基于微博短文本完成事件检测确定事件触发词及事件句类型,然后基于事件触发词进行事件
学位