论文部分内容阅读
图像去雾技术在户外视频监控和无人机航拍等方面有重大应用需求。雾霾天气下室外成像设备获取的图像会产生对比度降低、细节信息丢失与颜色偏移等退化现象,图像质量的下降严重影响了后续计算机视觉任务的有效进行,因此图像去雾技术具有十分重要的研究意义。传统的图像去雾方法通常直接对雾天图像进行增强,或者基于物理模型和某种假设先验反演求解清晰图像,这些方法去雾后的结果容易出现图像失真、光晕和亮度过低等现象,而且应用场景比较局限。现有基于深度学习的去雾方法直接利用卷积神经网络学习雾天图像与透射图或者清晰图像之间的映射关系,解决了手工设计特征的困难。但是这些基于深度学习的去雾方法本质上都是在利用卷积网络估计物理模型中的参数,然后结合物理模型恢复清晰图像,并且在优化过程中只约束了网络输出与标签之间的均方误差,因此去雾后的图像质量并不稳定。本文主要针对基于卷积神经网络的图像去雾方法进行研究和改进,主要工作点和贡献点如下:1.提出了一种基于条件生成对抗网络的图像去雾方法。首先基于卷积神经网络设计了一个端到端的图像去雾网络,避免了现有基于深度学习的去雾方法需要额外估计模型参数的问题;其次在优化去雾网络时不仅约束了去雾结果与标签图像之间的均方误差损失,还约束了两者在卷积特征层上的差异,即感知损失;然后在此基础上结合了条件对抗学习的方式优化去雾网络,即利用一个判别网络对去雾结果和标签图像进行判别,通过最小化对抗损失使去雾结果更逼近真实图像。实验结果证明该方法去雾后的图像具有更高的对比度和更丰富的细节信息,图像的整体视觉效果有所改善。2.提出了一种联合弱监督对抗学习的图像去雾方法。现有基于深度学习的去雾方法(包括我们在贡献点1中提出的方法)都是根据大量人工合成的数据集有监督地学习雾天图像与透射图或者清晰图像之间的映射;但由于受各种干扰因素的影响,真实雾天图像在颜色、对比度和亮度等方面比人工合成的雾天图像更复杂多变,因此这种监督学习的方法对真实雾天图像的处理结果并不理想。针对这一问题,我们基于弱监督对抗学习的思想将真实雾天图像也加入到了去雾网络的优化中,即利用一个判别网络对真实雾天图像的去雾结果和高质量清晰图像进行判别,同时用一个对偶学习网络来保证弱监督对抗学习的稳定性,使去雾后的图像能学习到高质量清晰图像域的特征。实验结果表明,通过弱监督对抗学习的加入,能够使真实雾天图像去雾后的结果在对比度、亮度和动态范围等方面更接近自然清晰图像。