论文部分内容阅读
图像复原是数字图像处理与计算机视觉领域中一个典型的病态问题。数字图像拍摄过程中存在诸多不可抗因素,如:相机抖动、物体运动、景深变化、大雾天气等,使得图像成像质量差,影响视觉感官以及后续的计算机视觉任务的精度。因此,采用图像复原算法从退化图像中复原出清晰、高质量的图像具有重要的研究意义。近年来,图像复原的成功主要归因于传统图像先验和深度神经网络两大类方法:传统图像先验从统计、原理层面挖掘退化图像与清晰图像的内在差异,设计一个能够区分两者的响应函数作为先验约束,使优化过程中求解出的图像符合清晰图像的特质;深度神经网构建一个从退化图像到清晰图像的映射函数,通过大量数据的训练,使得网络模型具有复原出清晰图像的能力。本文结合传统图像先验与深度神经网络,研究图像复原方法,主要解决图像复原中的图像去模糊与图像去雾问题,其主要贡献如下:首先,提出了一种基于深度回归网络的模糊核尺寸估计方法。对于一张输入的模糊图像,网络能够分别估计出模糊核的宽度与高度。针对网络中存在全连接层导致其需要输入的图像尺寸固定,难以满足估计任意模糊核尺寸的难点,提出在训练过程中采用相对尺寸标记的方法,估计模糊核尺寸与图像尺寸之比,增加网络能够估计出的尺寸范围。提出的模糊核尺寸估计网络能够给予现有的盲反卷积算法可靠且准确的模糊核尺寸输入,优化现有算法的复原效果,提高算法的效率。其次,提出了一个数据驱动的判别式图像先验,用于解决传统先验普适性、鲁棒性差的问题。通过学习一个深度神经网络,将图像先验建模为一个二分类器。所学习的图像先验能够区分模糊与清晰图像,将其嵌入至最大化后验概率优化框架中,有助于在各种场景中进行图像去模糊,其中包括自然、人脸、文本和低光照图像,以及空间非均匀模糊图像。然而,一个非线性的神经网络融入至MAP优化框架中,大大地增加了模型优化的难度。对于此,提出了一种基于半二次分裂方法和梯度下降算法的有效数值方法来优化所提出的模型。除此之外,提出的模型能够扩展到图像去雾问题上。再次,提出了一个基于景深先验引导的动态模糊图像复原网络。给定一张模糊图像,首先提取图像中的景深信息,再以一个景深精调网络恢复出景深图中的边界与结构。为了有效地利用景深先验,采用空间特征变化层提取景深特征,并通过缩放和平移与图像特征融合。因此,提出的去模糊网络能够在景深先验的引导下复原动态场景模糊图像。大量实验和分析表明,景深信息对于所提出的去模糊网络的性能至关重要,提出的网络具有先进的复原效果。最后,提出了一个基于半监督学习的单帧图像去雾网络,其包含了一个全监督分支和无监督分支。在全监督分支中,深度神经网络由全监督损失函数(即带标签的损失函数)约束,其分别为均方误差损失、感知损失,以及对抗损失;在无监督分支中,利用干净图像的内在属性,将图像梯度以及暗通道稀疏先验转化为非监督的损失函数,用于训练提出的神经网络。该网络同时采用了仿真生成的带雾图像数据以及真实拍摄的带雾图像数据,以“端到端”的方式进行训练。经过系统的分析,本方法训练的神经网络模型不会受限于仅在仿真数据上有效,且能够很好地处理真实拍摄的带雾图像,复原出干净图像。