欠监督图像去雾深度学习方法研究

来源 :厦门大学 | 被引量 : 0次 | 上传用户:zhangshihua11
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
雾、霾等恶劣天气条件下采集到的图像往往存在对比度衰减、颜色偏差、成像模糊、信息损失等问题,严重影响户外场景监测、视频监控、导航跟踪、目标检测等计算机视觉任务。对有雾降质图像进行恢复和增强以提高场景能见度,复原图像原有细节,对于改善和增强视觉任务在户外场景下的应用性能具有重要意义。传统去雾方法基于统计假设加以先验条件的约束,在现实场景中往往难以泛化。基于深度学习的去雾算法通常依赖大量成对的有雾/无雾图像,在训练过程中需要提供匹配的清晰图像的知识指导。自然场景下配对的有雾和干净图像获取费时耗力,作为替代,基于清晰图像进行手工加雾得到的合成成对数据集被广泛应用于深度模型训练中。但是合成雾图和自然雾图存在域差异,基于合成数据得到的去雾模型在处理真实雾图时去雾效果欠佳。为了摆脱对成对数据的依赖以及缩小合成数据与真实数据的域差距,有效提高欠监督条件下的图像去雾性能,本文进行下述三个方面的研究:第一,提出一个雾先验辅助的不成对图像去雾模型。为了摆脱当前去雾算法对成对雾数据集的依赖,本文探讨面向不成对训练数据的去雾方法。所提方法采用基于循环一致对抗网络的框架,构建两个生成器分别完成从有雾图像到清晰图像的转换以及从清晰图像到有雾图像的重建。为了更有效地指导网络学习和提高去雾性能,以有雾图像的先验图作为辅助信息,与输入图像一起送入网络学习和训练。针对去雾图和先验图各自采用多尺度判别器进行判别学习,融合多尺度感受野以及综合生成图像和先验图像两方面判别信息。实验表明,所设计的不成对图像去雾模型相对于当前流行的无监督去雾方法取得了更优的去雾效果。第二,提出一个基于一致性训练的半监督去雾模型。不成对去雾摆脱了去雾模型对成对监督的依赖,但是网络对无标签数据的学习能力不足导致仅使用不成对图像的去雾网络性能受限。本文进一步设计基于一致性训练的半监督去雾模型,综合有标签和无标签数据的优势,以减弱对成对数据监督的依赖并增强模型对不同域数据的适应性。通过最小化去雾图像和清晰图像的L1损失来约束有监督数据的训练,结合暗通道损失和总变分损失来优化无监督域的去雾结果,同时使用高斯混合模型来模拟无监督域的残差分布,约束有监督和无监督域残差分布的相似性,以拉近合成雾与真实雾的域差距。另外,所提方法设计了多个施加不同扰动的辅助解码器来进行一致性训练,有效提高了无监督分支的性能。提出的半监督去雾模型在多个数据集上去雾效果显著,能够恢复出更好的色彩、对比度和细节。第三,提出一种基于域自适应的图像去雾方法。基于一致性训练的半监督去雾框架利用有监督的合成数据和无监督的真实数据来训练网络,虽然通过对真实数据的学习增强了模型处理不同场景的适应性,但是仅使用真实有雾图像并不能真正解决域迁移问题。本文进一步引入域自适应机制用于图像去雾,以减少合成有雾图像与真实有雾图像之间的域差异,从而增强模型对不同场景特别是真实场景中的雾的容忍度,提升模型的去雾能力和泛化性。此外,引入CORAL损失来度量合成域和真实域之间的特征距离,在半监督去雾网络的基础上,借助域自适应特征对齐机制,减少异域数据的差异,弥补在合成域训练的去雾模型迁移到真实域时引起的性能下降。实验表明,所提方法在多个合成测试集和真实图像上均有显著的去雾效果。
其他文献
最近,对于纯文本数据的文本摘要技术已经取得了巨大的突破,但仍然存在对结构化信息忽略的问题。有相当部分的数据是带有结构化信息的文本,在某些领域,合理地利用结构化信息对于改进文本摘要的质量至关重要。为此,本学位论文在两个领域探讨融合结构化信息以改进文本摘要的效果,包括:面向推文的实时事件摘要中提高摘要完整性和基于抽象语法树提高代码摘要质量。首先研究了面向推文的实时事件摘要问题。推特文本中包含了时间信息
学位
在街道设计回归人本主义的背景下,街道界面连续性和场所性重新引起人们的关注。文章首先综述了现阶段对街道界面连续性的研究;其次,以慕尼黑为例,总结了其内城商业步行街的形成、发展和完善;再次,运用最大切面法对慕尼黑内城商业步行街及其他六条典型步行街进行界面密度量化研究,并归纳出街廓尺度、街道宽度与界面密度的关系;最后,从街区、街道和界面三个层面提出了商业步行街界面连续性导控策略,以期推动城市商业街建设作
期刊
随着三维模型数量呈海量式增长,迫切需要简单快捷而又准确高效的检索系统来管理三维模型。基于草图的三维模型检索方式不仅具有出色的用户友好性,也满足当前各行各业快节奏的生产需求。然而,草图与三维模型之间巨大的跨模态差异,给相似性度量匹配与检索造成了较大的困难。另外,由于草图线条扭曲、内容抽象,导致特征信息少、挖掘难度大。本文致力于研究如何有效地解决这两大难题,采用以深度学习方法为基础,构建了两种不同的方
学位
传统的药物研发周期非常长,通常需要投入巨资研发。使用计算机辅助药物发现可以提高研发效率并有效降低研发成本,引起了广泛关注并吸引众多学者进行相关研究。药物靶标相互作用预测是计算机辅助药物发现的一个重要研究领域。药物靶标相互作用预测所涉及的数据具有噪声多、维度高和稀疏的特点,矩阵分解方法常被用以预测未知或缺失的数据,能很好应对具有上述特点的数据。因此,本文基于矩阵分解从以下几个方面展开对药物靶标相互作
学位
纹理滤波是一种底层的图像处理任务,它的主要操作是保留突出的结构,去掉振荡纹理。研究这一问题的关键是找到图层间正确的边界来分离结构和纹理。传统的过滤方法在超参数调节上会花费大量的时间,深度学习方法则需要依赖高质量的数据集。本文针对研究中出现的问题提出了两种方案来研究利用生成对抗网络(GAN)进行纹理滤波。方案一提出一种半监督的纹理滤波方法,利用有限的标记数据和大量的非标记数据训练GAN。在训练阶段为
学位
近年来,随着“智慧城市”理念的推行,人们愈发关注城市公交系统的运营效率问题。移动通信技术和大数据技术的迅猛发展为乘客和公交系统交互创造了条件,弹性公交系统是结合了公交系统与上述两种技术的一项创新型公交系统,该系统可以动态地调整公车行驶路线、调度车辆来满足乘客请求,在有效缓解交通压力、节省能源消耗的同时保证乘客乘车的舒适度,其出现反映了城市公交系统朝灵活性和便捷性发展的趋势。传统公交系统中设置的固定
学位
为了保障IT服务的稳定运行,由人工智能与运维结合的智能运维近年来引起关注。其中两项核心任务为预测与异常检测。预测是基于时间序列估计出下一状态值。异常检测是基于时间序列判断当前状态值是否异常。当前二者的主要挑战是:在现有方法中被分开处理,且无监督场景下异常会干扰模型,同时精度较高的深度学习在计算资源有限时难以应用。因此,研究面向IT运维时序数据的预测与异常检测有重要意义。基于上述分析,论文提出以下两
学位
统计图作为日常生活和工作中常用的数据载体,通过图像的形式能够传输数据的内容、占比、走势等信息。近年来,在统计图问答任务上不断涌现出各类基于深度学习的算法,并取得了不错的效果,但仍旧存在一些问题和局限。因此,本文致力于统计图问答任务的算法研究,将任务划分为不同子任务模块,针对不同子任务模块的特性及研究现状提出解决方案,并结合各模块的工作提出新的算法模型框架解决统计图问答任务。本文的研究工作可以概括如
学位
大多数图像超分辨率(Super Resolution,SR)方法假定低分辨率(Low-Resolution,LR)图像是由高分辨率(High-Resolution,HR)图像通过固定的退化方式(如双三次插值下采样)得到的。但现实世界中的LR图像的退化过程多样,当LR图像的退化方式与SR模型假定的退化方式差异较大时,SR效果不佳。因此,图像盲超分辨率方法是图像超分辨率领域的研究趋势,而在盲超分辨率任
学位
现实生活中有很多场景是用更普遍的图结构进行表示的,如引文网络、蛋白质分子网络、知识图谱等等。传统的卷积神经网络在挖掘图结构数据的特征和模式方面显得无能为力。为了能够在图结构数据上进行卷积操作,研究者提出了图卷积神经网络以解决图结构数据上平移不变性缺失所造成的问题。近几年,图卷积神经网络发展迅速,在用户推荐系统、舆情监控和控制、癌症预测等领域都得到了大量的成功应用。为此,本文在详细研究图卷积神经网络
学位