基于Retinex模型的雾天图像清晰化算法

来源 :中国学术研究 | 被引量 : 0次 | 上传用户:z534921
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  摘 要:黄山风景区全年雨雾天气近200天,常规的视频监控系统在这种天气下,很难发挥作用。为了解决这个问题,黄山针对雾天图像对比度降低的退化现象,提出了一种快速的对比度增强算法。通过简单变换后发现,大气散射模型的数学表达式符合Retinex模型,因此采用Retinex算法来提高图像的对比度。同时提出了一种新的平滑保边滤波, 用来快速估计Retinex算法中的照度。它的每次迭代仅需要三次均值滤波,时间复杂度低。对于彩色图像,通过非线性指数增强图像的饱和度。实验结果表明,提出的清晰化算法能有效增强雾天图像的对比度(特别是降质严重的低对比度区域),改善彩色图像的色彩,同时较好的保持图像的边缘。
  关键词:雾;Retinex;对比度;保边滤波;饱和度
  1、引言
  黄山,素以奇伟绝俗、灵秀多姿著称于世。其全年雨雾天气近200天,弥漫在空中的雾气模糊了人们的视线,使得景物的能见度大幅降低,图像中蕴含的许多特征都被覆盖或模糊。并且图像退化程度跟图像景物到摄像头的距离相关,距离越远,距离越远,退化越严重。因此,这种退化在空间上是不均匀的。
  图像去雾算法主要经历了3个研究阶段:
  传统图像增强方法,比如直方图处理[1][2]、小波方法[3]和retinex[4]等。由于雾天退化图像的空间不均匀,这类方法效果有限。
  基于物理模型的多图像(或多数据源)复原方法。由于退化模型与成像距离密切相关,而基于单幅图像很难获得准确的深度信息。因此,这类方法通过多图像(或多数据源)得到图像深度信息后利用物理模型达到复原的目的。Narasimhna等人提出了多种提取场景深度信息的方法,有些需要用到不同天气状态下相同景物的图像[5],有些利用偏振光的方法[6]。基于大气散射模型的方法能够在雾天图像增强上达到较好的效果,但要求多图像(或多数据源), 因此在实际应用上具有一定的局限性。
  基于物理模型的单幅图像复原方法。由于考虑了雾天成像的物理模型和仅使用单幅图像,这类方法是近年来研究的热点和难点,取得了很大的进展。与多图像(或多数据源)复原方法利用不同,这类方法根据假设条件从单幅图像中估计深度信息。相对于雾天图像,Tan[7]发现无雾图像的对比度更高,因此他提出了基于局部对比度最大化的单幅图像去雾算法;Fattal[8]假设光照传输和物体阴影是不相关进而估计场景的反射率;He[9]通过大量实验发现“暗通道先验”,提出一种简单有效的算法,获得很好的效果。但是,这些方法存在两个问题:首先,一些退化严重的区域得不到增强;其次,由于处理过程中使用空间滤波方法,结果往往存在边缘效应。
  针对以上问题,本文将提出一种快速保边的单幅图像对比度增强算法。通过简单的变换发现,雾天降质模型的数学表达式和Retinex模型具有相同的乘性形式。因此采用Retinex算法来提高图像的对比度。为了保持图像的边缘,提出了一种快速的平滑滤波,用来估计Retinex算法中的照度。最后,对饱和度分量进行非线性指数调整,改善图像的色彩。
  本文其余部分组织如下:第二部分介绍本方法使用的大气散射模型和Retinex模型;第三部分提出我们的方法,并在一些重要细节上给予具体讲述;第四部分是实验及分析比较;最后,第五部分作为全文的总结。
  2、相关研究简介
  2.1大气散射模型
  在计算机视觉和图像处理领域广泛用于描述雾天图像形成的大气散射模型[5-11]如图1所示,具体数学表达式如下:
  其中,P表示空间位置,E表示场景点的反射率,即:场景点在良好天气条件下的亮度。t是传输系数,与目标到摄像机的距离和雾的浓度相关。A表示天空环境光,认为是一个常量。
  公式(1)中,方程未知数多于方程数,方程没有唯一解。为了解决该病态问题,需要通过其它信息先获得t,有以下几种方法:一是通过雷达等直接取得场景点的深度;二是通过获取多幅同一位置不同天气状况下的图像[5];三是利用偏振光的方法[6]。
  近年来,基于单幅图像的方法取得了很大的进展。这类方法都是根据假设先估计出t,再反解公式(1)。比如,Fattal假设光照传输和物体阴影是不相关进而估计场景的反射率;He提出“暗通道先验”,都获得很好的效果。
  但这些方法一般采用滤波方法估计t,会造成边缘效应;另外,这些方法设置平衡系数,防止当t接近于零时结果图像失真,但这也使得某些退化严重的区域得不到足够的增强。
  2.2Retinex模型
  Retinex理论[4,12]是一种重要的图像增强技术,适用于处理光照不均问题,并且能有效的增强图像对比度和压缩动态范围。该理论有以下四个基本假设:
  (1)每个色彩通道分别由独自的亮度值确定;
  (2)中心像素与周围像素的亮度比被认为具有照度不变性;
  (3)每个通道的照度值由大范围内局部比值综合确定;
  (4)每个通道中亮度值最大的像素被认为具有该通道内100%的反射率。
  基于上面四点假设,Retinex理论的基本概念就是将一副输入亮度图像I分解成两幅不同图像:反射图像R(场景内物体的内在属性,其取值范围为 ,和照度图像L(从光源投射在物体上的光线强度)。数学表达式为:
  去除不同光照的影响后,算法就能获得所需要的反射图像R。
  从单幅输入图像中估计出照度图像是Retienx算法的关键。一般认为,照度图像是平滑变化的。因此许多算法通过平滑输入图像获得照度图像的估计,如高斯滤波[13,14],双边滤波[15]等。但高斯滤波由于只考虑空间上位置关系,会模糊图像的边缘信息;双边滤波能较好的保持图像边缘,但算法的时间复杂度较高,难以应用到实时处理。
  3、基于Retinex模型的雾天图像对比度增强算法   3.1算法描述
  首先将降质模型的公式(1)变形为:
  改写上式为:
  其中:
  为了简化计算,本文取最大亮度值作为天空环境光A,从而就可以计算出B。这样,雾天图像清晰化问题转换成如何将一幅已知图像分解成两幅图像t和D,最后对D取反即可获得增强后的图像。
  注意到,上式与Retinex的照度反射模型具有相同的形式。大气散射系数t仅跟雾的浓度和物体距离相关。一般假设雾的浓度在单幅图像中基本固定,即在同一物体上空间平滑变化的,和照度图像的假设条件相吻合。因此本节引入Retinex理论,估计照度图像后恢复反射图像,从而达到图像去雾的目的。
  照度图像估计中,现有的平滑滤波如高斯滤波和双边滤波等不能在边缘保持和执行速度上获得很好的平衡。因此,提出一种快速的保边滤波,其输出是中心像素亮度值和邻域内亮度值均值的加权平均。另外,该滤波也能应用到反射图像恢复中,用来抑制噪声。
  对于彩色图像,将其先转换到亮度空间,处理后再恢复出彩色信息,提高算法的运算速度。为了增强图像的色彩,算法对饱和度分量进行非线性指数调整。
  图2给出了整个算法的具体流程图。首先将输入彩色图像转换成亮度图像。用估计的大气天空光A对亮度图像取反后,采用快速Retinex算法计算结果;最后,对结果取反,利用输入图像恢复出彩色信息,获得最后的清晰化结果。
  3.2快速保边滤波
  边缘保持是图像平滑算法的研究重点和难点,也是近二十年来该领域的研究热点。这类算法的优点在于平滑图像噪声(或细节)的同时,能够很好的保持边缘信息。各向异性扩散算法[16]和双边滤波[17]是其中两种最流行的技术。近年来,研究者又相继提出了多种新的保边平滑算法,如加权最小二乘法优化框架[18]、基于极值的插值方法[19]、保边小波[20]、最小L0梯度[21]以及域转换方法[22]等。然而,这些方法计算复杂度高,难以应用到实时处理。
  Lee滤波[23]是一种基于局部统计的平滑算法,其输出是输入图像和其均值滤波的加权平均:
  其中,I是输入图像, 表示给I定窗口大小的均值滤波结果。K由下式计算:
  其中,Q和N分别表示无噪图像和噪声的方差。平滑系数是滤波的一个关键参数,它控制着滤波的平滑强度。在一个局部窗口内,信噪比越低,噪声N的方差越大,使得系数K的值越小,从而结果J就越接近于该窗口的均值;相反,图像质量较好的区域具有较高的信噪比,噪声的方差N相对较小,使得系数K的值接近于1,从而结果就越接近于输入图像。
  然而,变量Q和N通常情况下是未知的,需要提前给定或者根据其它算法估计。此外,均值滤波的窗口大小也不好确定。窗口太小时,滤波不能有效的抑制噪声;而窗口过大时,算法又会模糊图像的细节和边缘信息。这两个问题也限制了该滤波的应用。
  为此,将介绍一种改进的快速保边滤波。为了平滑图像的同时保持边缘信息,提出的算法对Lee滤波有两处主要的改进。首先,该算法引入了本地绝对梯度均值,与图像方差一起计算权重系数。其次,采用了多次分解的方法平滑边缘周围像素。接下来将介绍提出算法的具体细节。
  A平滑系数
  图像滤波的目标是平滑其中的噪声,而保持边缘。因此需要先明确边缘和噪声的定义。在之前大多数算法中,边缘被定义为相邻像素大的亮度差,而噪声和细节则是相对较小的对比度变化。然而实际中,比如在噪声(或细节)很强的图像中,相邻像素由于随机噪声的影响,也可能有很大的亮度差,并且大亮度差会重复出现。因此,本文定义噪声(或细节)为亮度值局部极值间的重复跳跃,而边缘是单一的大亮度差。
  根据本文的定义,边缘仅仅包含一个大的亮度差,而噪声(或细节)可能有多个。在两者亮度差相差不大的情况下,两者的局部绝对梯度均值有较大的区别。当两者的亮度差相差较大时,边缘的局部方差要比噪声(或细节)的大。因此,使用局部方差和绝对梯度均值作为两个特征变量,通过以下公式计算平滑系数:
  其中, 表示局部方差均值, 是空间位置处P的梯度。 表示一个很小的正数常量,确保式子中的除数不为零。实验中, 的值设置恒为10-6。函数f0是一个非负的单调递增函数,使得局部方差和绝对梯度均值两者具有可比性。在本文中,f()定义为如下一个简单的两次函数:
  其中, 表示以空间位置P处梯度的Euclidean距离。而a是一个非负常数,用来调整局部方差和绝对梯度均值两者相对关系。
  B多次分解
  用新的平滑系数对输入图像I完成一次公式(6)的操作后,可以得到一个平滑图像J1。然而当窗口半径w较小时,整幅图像的平滑效果有限;而w太大时,边缘附近像素的平滑系数接近于1,其结果也不能得到足够的平滑。针对该问题,本文提出一种多次分解的方法,该方法多次迭代的从上一次结果中提取其平滑层。窗口范围随迭代次数增加而增大。经过n次平滑操作后,根据上一次结果 Jn-1获得的平滑图像为:
  其中, 表示Jn-1的局部均值,kn表示第n次迭代的平滑系数。
  接下来考虑窗口的增长方式。考虑到离边缘距离小于半径的像素平滑强度会不够,第一次迭代时,本文选择最小的窗口半径w1=1。当递增的窗口大于给定的窗口后,迭代停止。当增长过慢时,算法的迭代次数增加,增加算法运算时间。经过多次迭代后,本文选择第n次窗口半径wn的大小和上一次窗口半径wn-1的关系为:
  每一次迭代都需要进行一次平滑操作,而每次平滑操作又包含了一个参数a。因此,整个算法需要设置多个参数a的值。而实验发现,算法受这多个值最大值影响最大,受其它值影响很小。因此,本文在每一次迭代中都采用同一个参数值。
  C时间复杂度分析
  除了保持边缘外,本章提出的滤波的另一个优点是它的计算复杂度低。图3给出了滤波的具体实现步骤。除了一些点运算外,每一次迭代(平滑操作)仅仅需要完成三个均值滤波。而不论窗口半径多大,快速的均值滤波算法处理每一个像素仅仅需要4个加法运算和1个乘法运算。因此,整个算法的时间复杂度是O(N),其中N表示输入图像的像素个数。另外,通过查找表减少根号运算等的时间消耗。   3.4图像饱和度增强
  对于彩色图像,由于雾较浓或场景点很远,会造成图像饱和度很低,需要增强色彩。为了保证增强后的图像色彩更加分明, 本文将彩色图像转换至HSV空间,对饱和度分量进行非线性指数调整,改善图像的色彩。指数拉伸的数学模型为
  其 中为拉伸因子,决定饱和度分量的增强程度。
  4、实验结果
  本文中,实验使用的参数为:W=7,a=0.1。由于整个算法仅仅使用了快速滤波和一些简单的点运算,算法的时间复杂度和快速滤波一样也是O(N),其中表示输入图像的像素个数。
  为了评估算法的性能,论文对FRIDA[24]数据库的仿真图像进行了测试;并基于该数据库提供的标准图像,采用文献[25]中的标准差 ,有效比P,以及低对比度有效比V作为评判标准。其中,标准差描述清晰化处理结果和标准图像的吻合度,而有效比和低对比度有效比分别评估算法对全局和低对比度区域的增强性能。实验结果如表1所示。结果表明,提出算法在三个评判标准上的性能都要优于MSR算法[14]和He算法[9],特别是对于图像降质严重的低对比度像素。Retinex算法在恢复反射图像时,对比度的提高和亮度值成反比。而雾天图像具有较大的亮度值,因而通过取反操作降低亮度值,从而提高对比度。这是提出算法在对比度增强特别是低对比度增强方面优于MSR算法的主要原因。图4给出了其中一幅降质图像的处理结果。从图中可以看出,提出算法能够有效地提高雾天图像的对比度,特别是在降质严重的低对比度区域,同时较好的保持图像的边缘。
  图5是实际应用中的一幅真实图像处理结果。
  5、结论
  针对雾天图像的退化现象,提出了一种基于Retinex理论的图像对比度增强算法。为了达到实时处理的要求,提出了一种快速的保边滤波估计照度图像。该滤波的输出为输入图像和其均值的加权平均,权重由局部方差和绝对梯度均值决定。整个算法的时间复杂度是,其中表示输入图像的像素个数。对于彩色图像,通过非线性指数增强图像的饱和度。实验结果表明,该算法能有效增强雾天图像的对比度(特别是降质严重的低对比度区域),改善彩色图像的色彩,同时较好的保持图像的边缘。
  但是,算法也存在一定的问题。比如,算法对噪声敏感,特别是在接近天空、退化严重区域的噪声。作者今后将对这些问题继续进行研究。
  参考文献:
  [1]J. A. Stark. Adaptive Image Contrast Enhancement Using Generalizations of Histogram Equalization[J]. IEEE Transactions on Image Processing, 2000, 9(5):889-896.
  [2]J. A. Stark, W. J. Fitzgeralid. An Alternative Algorithm for Adaptive Histogram Equalization[J]. Graphical Models and Image Processing, 1996, 58(2):180-185.
  [3]F. Russo. An Image Enhancement Technique Combining Sharpening and Noise Reduction[J]. IEEE Transactions on Instrumentation and Measurement, 2002, 51(4):824-828.
  [4]E. H. Land. The retinex theory of color vision[J]. Scientific American, 1977, 237(6):108-128.
  [5]S. G. Narasimhan, S. K. Nayar. Chromatic Framework for Vision in Bad Weather[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2000, 1:598-605.
  [6]Y. Y. Schechner, S. G. Narasimhan, Shree K.Nayar. Polarization-based vision through haze[J]. APPLIED OPTICS, 2003, 42(3):511-525.
  [7]R. T. Tan. Visibility in bad weather from a single image[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2008, pp. 1-8.
  [8]R. Fattal. Single image dehazing[J]. ACM Transactions on Graphics, 2008, 27(3), Article 72.
  [9]K. He, J. Sun, X. Tang. Single image haze removal using dark channel prior[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR’09), 2009, pp. 1956-1963.
  [10]H. Koschmieder. Theorie der horizontalen Sichtweite[J] . Beitr. Phys. Freien Atm., 1926, 12, 33-53, 171-181.   [11]S. K. Nayar, S. G. Narasimhan. Vision in Bad Weather[C].IEEE International Conference on Computer Vision (ICCV), 1999,2:820-827.
  [12]E. Land, J. McCann. Lightness and retinex theory[J]. J. Opt. Soc. Amer., 1971, 61(1):1–11.
  [13]D. J. Jobson, Z. Rahman, G. A. Woodel1. Properties and Performance of a Center/Surround Retinex[J]. IEEE Transactions on Image Processing, 1997, 6(3):451-462.
  [14]D. J. Jobson, Z. Rahman, G. A. Woodel1. A multiscale retinex for bridging the gap between color images and the human observation of scenes[J]. IEEE Transactions on Image Processing, 1997, 6(7):965-976.
  [15]M. Elad. Retinex by Two Bilateral Filters[J]. Scale-Space Lecture Notes in Comput. Sci.,2005, 3459:217-229.
  [16]P. Perona, J. Mallik. Scale-space and edge detection using anisotropic diffusion[J]. IEEE Transactions on Pattern Analysis and Machine Learning, 1990, 12(7):629-639.
  [17]C. Tomasi, R. Manduchi. Bilateral filtering for gray and color images[C]. International Conference on Computer Vision(ICCV), 1998, 839-846.
  [18]Z. Farbman, R. Fattal, D. Lischinski, R. Szeliski. Edge-preserving decompositions for multi-scale tone and detail manipulation[J]. ACM Transactions on Graphics, 2008, 27(3), Article 67.
  [19]K. Subr, C. Soler, F. Durand. Edge-preserving Multiscale Image Decomposition based on Local Extrema[J]. ACM Transactions on Graphics, 2009, 28(5), Article 147.
  [20]R. Fattal. Edge-avoiding wavelets and their applications[J]. ACM Transactions on Graphics, 2009, 28(3), Article 22.
  [21]L. Xu, C. Lu, Y. Xu, J. Jia. Image Smoothing via L0 Gradient Minimization[J]. ACM Transactions on Graphics, 2011, 30(6), Article 174.
  [22]E. S. L. Gastal, M. M. Oliveira. Domain Transform for Edge-Aware Image and Video Processing[J]. ACM Transactions on Graphics, 2011, 30(4), Article 69.
  [23]J. S. Lee. Digital image enhancement and noise filtering by use of local statistics[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1980, 2(2): 165-168.
  [24]J. -P. Tarel, N. Hautiere, A. Cord, D. Gruyer, H. Halmaoui. Improved Visibility of Road Scene Images under Heterogeneous Fog[C]. Proceedings of IEEE Intelligent Vehicles Symposium (IV'10), San Diego, CA, USA, June 2010, 21-24.
  [25]W. Li, B. Gu, J. Huang, S. W, M. Wang. Single Image Visibility Enhancement in Gradient Domain, IET Image Processing, 2012, 6(5): 589-595.
其他文献
摘 要:结合专业特色来开展学生工作是新时期学生工作的最新要求,本文以经济管理专业为例,探讨如何围绕本专业进行专业研究,并与学生主体特点相结合,有针对性地开拓学生工作的新局面。  关键词:专业特色;学生工作;经管专业  近年来,我国高校辅导员队伍建设不断取得新进展、新收获,辅导员工作越来越受到关注,与此同时,不断变化发展的专业培养模式和90后学生独有的特点也对辅导员的工作提出了更高的要求,如何提高辅
期刊
摘 要:本文论述了岩石介质的受力破坏形态与强度,之后选取花岗岩进行静力学试验,将试验结果与理论分析进行比较,得出二者的一致性,并说明了二者存在差异的原因。  关键词:岩石;力学特性;静态试验;强度  1.岩石的力学特性  1.1岩石的受力变形特性  岩石在外力作用下产生变形,其变形按性质分为弹性变形和塑性变形,图是岩石典型的完整应力应变曲线。根据曲率变化,可将岩石变形过程分为四个阶段:  (1)微
期刊
很多刚从初中升上高中的学生都觉得高一数学难学,也有些学生在入学前就耳闻高中数学很难学,高中数学课一开始也确有些难理解的抽象概念,如映射、集合等,使他们从开始就处于被动局面。使他们过早地失去学数学的兴趣,甚至打击他们的学习信心。因此,针对这个问题,我们数学教师要认真搞好初高中数学的衔接教学,确保绝大多数高一新生能成功完成由初中数学向高中数学学习的过渡。  一、在初中,由于内容少,题型简单,课时较充足
期刊
一、关于债的概念的探究  (一)债的由来  公元二世纪时,在罗马法中才通用“obligatio”,有时指债权,有时指债务,有时又统一指债权债务关系,通称“法锁”。到《查士丁尼法典》问世,才给债下了个定义:“债是国法得使他人为一定给付的法锁”。可见,当时债的定义有三层意思:1、债是依法产生的,受法律保护;2、债是权利人与他人之间的一种法律关系,即法锁;3、义务人向权利人应为给付,给付行为是双方权利义
期刊
教学是学校的中心工作,是实施素质教育的主渠道。教学是教师传授知识技能和学生主动获取新知技能的双边活动。教师的主导作用主要是指学生所学的内容,所采用的学习方式是由教师指导所决定的,学生学习的愿望,知识的兴趣,学习的习惯等,是教师正确教育的结果。对学生来讲,教师是启蒙者,是领路人,正因为他的主导作用,才使教育活动有秩序地进行着。与教师的主导作用密切相关的是学生的主体性,它是学生认识客体的过程,是通过学
期刊
近年来,随着我国房地产市场的日益繁盛,商品房买卖定金合同纠纷大量涌入法院。该类案件普遍存在买受人在与开发商签订认购书并支付定金后,未能签订商品房买卖合同,定金是否返还的疑难问题。本文拟对商品房买卖定金纠纷所涉及的商品房认购书性质、所涉定金性质、说明条款效力及定金处理原则和具体处理情形等问题逐一探讨。  一、商品房认购书性质的认定  由于现行法律规定并未明确界定商品房认购书的性质,目前理论与实务中大
期刊
改革开放以来,成功的经济发展道路和计划生育道路,成为具有中国特色社会主义不可缺少的重要组成部分已成为共识。山东省曹县在新时期的计划生育工作中,尤其是优质服务、信息化建设、婚育新风等活动中更是独领风骚,谱写了一曲计划生育工作辉煌的新篇章,树立了人口与计划生育成功实践之楷模,形成了鲜明特征的“诚信计生”的模式。  一、诚信与计划生育的科学理解  (一)诚信的解释  人类历史上,诚信的内涵因所处的时代不
期刊
当前,随着国际竞争日趋激烈,我国诸多产业陷入了创新能力薄弱、核心技术受制于人的局面,增强自主创新能力成为了当前产业掌握战略主动权的根本所在。因此,加强和完善知识产权保护制度,就是我国积极推进自主技术创新和赶超发达国家不可或缺的手段。笔者就自主创新与知识产权保护谈一下浅显的认识:  一、知识产权及技术创新的内涵、过程  1、知识产权的概念和特性  知识产权是指社会公民或企业法人对脑力劳动所创造的非物
期刊
一、引言  目前,生物质直接燃烧技术是最简便、最具潜力的生物质资源有效利用方式之一。但由于生物质燃料与化石燃料相比,在物理、化学性质等方面存在着较大的差异,因此对燃烧设备的设计要求和燃烧方式的选择也不同于化石燃料。  二、生物质燃烧的特性  了解生物质燃料的组成成分,有助于对其燃烧特性的研究,从而进一步科学、合理地开发利用生物质能。  由上表可以看出,生物质燃料组成成分的特点是:(1)生物质含水分
期刊
随着我国卫生防疫事业的蓬勃发展,各级卫生防疫档案工作也逐步走上了规范化、科学化管理的轨道,特别是自档案目标管理活动开展以来,更是将档案工作推向一个新的高度。卫生部“等级站评审标准”,将档案管理晋级达标做为等级站评审申报的先决条件之一,明确地列入其中,这就极大地促进了防疫档案工作的发展。  一、疾控档案管理基础工作存在的主要问题  目前,我国的综合性档案馆大多是馆藏内容庞杂、案卷数量繁多、时间跨度长
期刊