论文部分内容阅读
随着人工智能(Artificial Intelligence,AI)的兴起,计算机视觉系统被广泛应用于人们的生产生活中,尤其是户外视觉系统。在智慧城市与交通、室外监控、卫星遥感、甚至于军事国防等领域都起到了越来越关键的作用。然而,户外计算机视觉系统对天气或者环境变化敏感,尤其是在雨天、雾天、低光照等常见且复杂的场景采集图像时,图像质量退化严重,给高层计算机视觉任务(目标检测、识别、跟踪)的特征提取造成困难,影响了户外视觉系统的适用性,因此,提高复杂场景下视觉系统所采集的图像质量变得尤为重要。本文主要以解决上述问题为目标,研究常见复杂场景下低质图像增强相关技术。主要内容如下:首先,对三类比较常见复杂场景下(低光照、雾、雨)图像增强相关技术进行综述。通过对相关技术的研究,相关增强技术主要分为两大类:模型驱动方法与数据驱动方法,并研究与分析了这两类算法的优缺点。其次,针对低照度图像现有增强算法存在过度增强导致细节丢失以及噪声放大的缺陷,本文首先通过相机响应函数(Camera Response Functions,CRFs)来构建强度映射函数(Intensity Mapping Functions,IMFs),使用IMFs产生更长曝光时间的两张虚拟图像(模型驱动)。由于产生的虚拟图像存在噪声放大、颜色失真的现象,本文使用深度学习(数据驱动)的方法对模型驱动的结果进行补偿。由于真实图像与虚拟图像已经非常接近,两者之间的误差相比于低照度图像更稀疏,由于深度卷积神经网络(Convolutional Neural Network,CNN)强大学习功能,可较容易捕获残差信息。最后通过融合虚拟图像与真实图像获得增强后的图像。相比于模型驱动,所提算法具有更强的鲁棒性。相比数据驱动,所提算法具有更优的性能和更快的收敛速度。然后,针对雾天退化图像,由于现有去雾算法很少分析噪声对图像去雾的影响,存在噪声放大的现象,本文首先说明噪声普遍存在于雾图中,并详细分析噪声对图像去雾的影响,在此基础上提出了一种模型与数据结合的去雾算法。通过利用加权引导滤波器将图像分解为基础层图像和细节层图像,使用经过下采样后的基础层图像学习出透射率,减小噪声影响并降低计算复杂度;使用双边网格对透射率上采样,恢复到与输入图像同样的尺寸,以保持边缘等细节信息;然后使用大气散射模型对图像进行恢复。为了兼顾细节的保留和噪声的去除,根据透射率的大小设计权值函数,自适应的为细节层图像分配权值。最后根据去雾后的图像与对应的清晰图像计算损失,反馈调节网络的权值。把模型融入到数据驱动的端到端设计,提高了大气散射模型的精度,去雾能力得到很大提升。最后,针对雨天退化图像,本文利用自然图像中局部块之间存在相似性的先验知识,提出一种模型与数据相结合的去雨算法。现有去雨算法大多基于图像分解的思想,容易造成图像模糊,破坏用于高层视觉处理所需特征。根据视频去雨中连续图像时间与空间信息的特点,以及局部块存在相似的先验知识,利用数据驱动的方法获取局部相似块并进行融合。网络结构上采用非局部空间注意力和通道注意力模块,压缩无用信息避免对网络训练产生干扰。损失函数的设计上,通过分析均方误差与绝对值平均误差的优缺点,提出一种新的混合损失函数,兼顾两种损失函数的优势。所提去雨算法是将模型驱动思想融入到网络的设计中,网络的解释性更强,同时也保留了数据驱动强大的学习和获取规律的能力,将两类算法进行优势互补。