基于上下文感知注意力的低光照去雾网络及部署

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:yuanpings
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
雾霾的存在使拍摄环境变得恶劣,导致成像后的图像出现细节丢失、对比度下降和颜色失真等问题,不仅影响人的主观感受,更严重制约了后续高级视觉应用(如目标检测)的性能。现有图像去雾算法大多数仅针对正常光照下的含雾场景,而未考虑低光照下含雾场景的特点,即:光照强度低,雾对成像质量的影响被进一步放大;场景中通常存在多个光源,不同光源的光经过雾的散射使得图像色偏更加严重;光源附近存在明显的辉光效应。本文针对低光照雾图特征提取困难和色偏严重的问题,提出了端到端的低光照图像去雾网络;为解决网络工程部署问题,本文设计了轻量化去雾网络并对其进行部署。现对本文创新性工作做如下总结:(1)本文首先对比分析了低光照场景雾图和正常光照场景雾图的特点,针对低光照场景雾图退化严重导致特征难以提取的问题,提出了一种基于上下文感知注意力的低光照去雾网络。首先,使用层内上下文感知注意力模块分别从通道维度和空间维度聚合输入特征的信息,使其结合全局视角过滤和加权特征信息,以解决特征局部重要信息因输入图像退化而难以提取的问题;其次,使用层间上下文感知注意力模块通过投影操作,将高层特征投影到低层特征的信号子空间中,以高效融合不同层之间的信息;最后,引入轻量注意力模块,以较少资源提取网络顶层大尺度特征中的重要信息。同时考虑到低光照雾图色偏严重的问题,引入CIEDE2000色偏公式作为颜色损失,从CIELAB色彩空间对图像色彩进行约束,减少恢复图像色偏。实验结果表明,本文方法在多个数据集上的性能指标均优于现有去雾算法,与基准网络相比,PSNR最高提升了2.16d B,去雾效果更彻底,色彩还原更真实,视觉观感更好。(2)针对硬件资源有限,无法部署大型神经网络的问题,本文设计了一种基于知识蒸馏的轻量化低光照去雾网络。一方面,使用本文设计的轻量化密集残差块和轻量化残差块作为网络的核心模块,有效减少了网络的参数量和运算量;另一方面,结合知识蒸馏技术,采用前述基于上下文感知注意力的低光照去雾网络作为教师网络,辅助轻量化去雾网络训练,从而提升轻量化网络的性能。多个数据集上的测试结果表明,本文设计的轻量化网络在保证去雾质量的同时,极大降低了网络复杂度。在3R数据集上,相较于上述基于上下文感知注意力的网络,运算量减少了7倍,参数量减少了22倍,而PSNR仅下降了5.1%。最后,本文将所设计的轻量化网络部署在Tensor RT平台,在不影响去雾性能的情况下,去雾速度提高了10倍。
其他文献
金刚石材料因其具有硬度大、禁带宽度大、载流子迁移率高和热导率高等优异的材料特性,在高频高功率器件的研发领域具有巨大潜力。近年来,国内的金刚石材料和器件发展较快,但仍存在单晶金刚石材料尺寸小、质量低和器件电学性能差等问题。基于此,本文对高质量、大尺寸单晶金刚石的生长及高性能金刚石基器件的实现展开了研究。本文研究内容和成果如下:1、基于微波等离子体化学沉积(MPCVD)设备分析和研究了甲烷、氮气和氧气
学位
表面贴装技术(Surface Mounted Technology,SMT)是电子制造业的核心工艺,已成为印制电路板(Printed Circuit Board,PCB)制造的主要方式。电子制造企业在生产中积累了大量的生产经验知识,但多以孤立的技术文档等非结构化文本形式存在,尚未形成统一的知识库,不利于知识的复用、传承和管理。企业借助于信息化系统在生产中积累了海量结构化数据,但这些数据并未被充分利
学位
变化检测作为遥感影像处理领域的基础性任务,旨在分析、比较同一地区不同时间的遥感影像,并检测出其中所发生的的变化。随着近年来一大批类型多样的高分辨率遥感影像的不断涌现,变化检测任务的挑战显著增加。首先,随着影像分辨率的提升,影像所包含的场景更加复杂,干扰信息也更多,这对于变化检测任务的特征提取环节提出了极高的要求;其次,对于高分辨率遥感影像,像素级的类别标注费时费力,如何减少网络训练过程中对于标记样
学位
异常检测问题是数据挖掘领域的重要研究方向之一,其中关键性能指标(KPI)异常检测也是其中的重要问题之一。随着基于网络的软件系统的发展,企业和运营商越来越重视对网络流量和用户浏览时间等关键性能指标的分析。与传统的时间序列异常检测相比,KPI时间序列异常检测具有数据量大、标签少等特征、概念漂移等问题,导致传统的异常检测模型在处理KPI数据时面临巨大挑战。受概念漂移的影响,时间序列数据的分布会随时间发生
学位
随着互联网的发展与网络设备的普及,用户之间互动的数据越来越丰富,使用社交网络建模社交关系也变得越来越重要。近年来,社交网络在市场营销中发挥着重要作用。例如“病毒式营销”,利用少数人对信息的传播,达到最大的影响范围。而社交网络中影响力的分析又分为几个方面:选取少数节点最大化最终的影响力,即影响力最大化问题;将节点赋予不同的激活成本,在预算内选取节点使得种子集影响力最大,即预算影响力最大化问题;确定大
学位
人体姿态估计是计算机视觉领域中的一项重要任务,它在人们的日常生活中有着极其广泛的应用,同时,它也是行为识别、人机交互和增强现实等领域的基础。优秀的姿态估计算法能准确地从图像中获得关节点信息,给人们带来更好的使用体验。因此,研究更先进的人体姿态估计算法具有十分重要的意义。近些年,随着人工智能的快速发展,深度神经网络在计算机视觉领域中取得了巨大进展,并成为了人体姿态估计任务的重要方法。然而,现有基于深
学位
图像是如今信息传输不可或缺的载体,在许多实际应用场景下都有着重要的作用。但是在图像拍摄的过程中,极易由于相机离焦或与场景发生相对运动导致图像模糊。模糊图像携带的信息难以获取,给人们的生产生活带来了不便。因此,图像去模糊技术,即从模糊图像中恢复出高质量的清晰图像,具有广泛的研究和应用价值。同时,图像去模糊作为一个经典不适定问题,也是数字图像处理领域的一个极具有挑战性的重要研究方向。图像去模糊通常分为
学位
随着神经网络相关研究的发展,在深度学习领域中深度神经网络(Deep Neural Networks,DNN)模型已经在图像分类等问题中展现出了强大的性能优势。与此同时,另一项改变传统计算范式的新兴领域——量子计算也发展迅速。在量子计算领域中由于量子系统所具有的并行特性优势,量子计算与神经网络结合而产生的量子神经网络(Quantum Neural Networks,QNN)也成为越来越多研究者进行深
学位
图像语义分割是计算机视觉领域的基础任务之一,也是实现场景理解和物体识别的前提,其研究进展对于医学影像分析、自动驾驶、安防监控等行业的发展具有重要意义。目前,受到最多关注的全监督分割方法需要像素级标签的支持,而该类标签的获取严重依赖人工标注,耗时耗力,限制了语义分割在实际场景中的应用。针对上述问题,弱监督语义分割方法被提出,其使用少量人工标注的弱标签监督分类网络训练,生成的像素级结果作为伪标签监督分
学位
随着遥感技术的发展,可见光遥感已经成为了一种重要的信息获取手段,通过该技术获取的遥感图像及其衍生品已经大量应用于国防建设和国民生产领域中。由于太空环境的特殊性,在成像过程中卫星硬件设备的老化和在传输过程中外部因素的干扰导致遥感图像出现不同的缺陷。遥感卫星每天都会产生海量数据,其中含有缺陷的数据需要在生产前标记和剔除。然而通过人工标记筛选耗时且效率低,因此需要一种自动化检测算法对可见光遥感图像进行缺
学位