论文部分内容阅读
摘要:针对图像去雨技术特点,分析了雨滴的性能、雨滴在图像中的显示特性以及去雨常用物理模型,讨论了去雨技术的发展和目前较好的去雨方法。
关键词:图像去雨;中值滤波;引导滤波
中图分类号:TU 文献标识码:A 文章编号:(2020)-04-061
光学侦察监视技术发展迅猛,目标识别与跟踪、卫星照相侦察、航拍监测等领域大量使用了光学照相、摄像设备,由于光学侦察设备的直观、实时、抗电磁干扰等优点,备受重視和欢迎。但是,光学侦察设备存在一个致命的弱点,就是在恶劣天气条件下成像质量大幅下降,甚至完全失效。可见,研究恶劣天气条件下的图像修复意义重大。图像去雨的方法,目前可分为软件去雨和硬件去雨。硬件去雨是哥伦比亚大学率先提出的,调节摄像机的各项参数来降低或消除视频中雨滴的可见性。软件去雨又分两类:一是频域内基于模型去雨,二是时域内基于像素去雨。
一、雨天图像特性
雨滴的尺寸一般为0.1-3.5mm,人眼能够看到。雨滴落速很快,正常的曝光时间内容易产生运动模糊,图像拍摄中显示为雨线,在图像中雨线的像素宽度通常为几个到十几个像素。由于光线经过雨滴的反射和折射,而且雨滴折射的角度很大,所以雨滴在图像中很亮,一般比被遮挡的背景要亮,人眼可以明显地看到挡住背景的亮的雨线。因此无人机采用俯视等角度拍摄的雨天图像中,雨滴一般呈现为雨线、雨斑,比背景要亮。
基于雨滴的外表特性,雨通常被当成是比周围背景亮的较小边缘。在图像处理过程中,基于周围与边缘的像素值的关系,图像中的边缘可以分为三种。第一种:周围的像素值相比边缘的像素值,有些地方高,有些地方低,这种边缘称之为阶跃边缘。第二种:周围的所有像素值都比边缘的像素值低,这种边缘称之为山脊状边缘。第三种:周围的所有像素值都比边缘的像素值高,这种边缘称之为山谷状边缘。雨线属于较小的第二种边缘,而这种边缘位于图像中的高频部分。
在图像去雨方法研究中,常用的物理模型描述为:受雨滴影响的像素可以看作雨滴和背景相互作用的效果,作用过程和效果为线性叠加,即图像由雨图像和背景图像组成。去雨工作主要是在观测图像基础上恢复出背景图像。
二、图像去雨的实现
图像去雨最早可追溯到日本富山大学Hase采用中值滤波方式去除雪花,雪花和雨在图像的效果类似。之后哥伦比亚大学的Garg和Nayar于2004和2007年分析了雨滴的运动和光学特性,构造了动力学和光度学模型来检测雨滴。但在区分雨滴和其他运动目标过程中需要31帧图像进行计算,不满足实时要求,并且对大雨的效果不理想。澳洲国立大学的Brewer于2008年提出仅需3帧图像就能去雨的方法,原理与Garg的类似,但需要雨滴和相机的相关参数。,台湾清华大学的Fu等2011年提出基于图像分解的方法,其中图像中雨的部分可以通过稀疏表示和字典学习区分出来,主要是基于雨线在单幅图像中的方向是一致的。2012年,台湾元智大学的Chen等人提出为提高检测的准确性,可以应用不同的深度信息(DoD)和方向梯度直方图(HoG)来去雨,使恢复的图像视觉效果更好。同年,哈尔滨工业大学徐晶给出了单幅图像基于引导滤波(Guided Filter)去雨雪的方法,认为在RGB上的影响雨雪对背景几乎相等,将每一点的最大RGB值减去最小RGB值得到背景信息的图像,作为去除雨雪的参考图像,又认为雨雪比背景更亮,进一步运用Guided Filter去除雨雪。虽然去除雨和雪的效果很好,但是图像会出现模糊。2013年,韩国Kim等认为雨线呈现椭圆形状并且主要处于垂直方向。通过椭圆表示比率和角度表示图像来检测雨线。同年,台湾清华大学Chen等根据雨线在图像或视频中通常以重复的和相同的外表模型显示,提出一种新的低秩模型去雨,该方法去雨效果很好,运行效率很高。2014年,Chen等又通过构造HoG,DoF和Eigen color(固有颜色)的混合特征,尝试从高频部分去雨,去雨效果在单幅彩色图像中是最好的。
Chen的算法首先采用引导滤波器将一幅彩色图像分解为高频和低频部分,然后基于字典学习和稀疏编码,将高频部分进一步分解,分解为无雨和有雨分量,最后综合采用包括HoG、DoF景深和Eigen color在内的多种特征,从高频部分将雨线的纹理或边缘与非雨区域进行区分。由于导引滤波器是显式滤波器,该算法既保证了线性时间复杂度,又出色地保持了图像边缘的效果。
参考文献
[1] 汤红忠,王翔,张小刚等. 面向单幅图像去雨的非相干字典学习及其稀疏表示研究[J]. 通信学报,2017(7).
[2] 顾巧玲,吴健学. 基于非局部均值滤波的视频图像去雨方法[J]. 信息技术,2017(1).
[3] 韩裕生,周远.基于内部生成机制和稀疏分解的单幅图像去雨方法[J]. 陆军军官学院学报,2015(2).
作者单位:火箭军士官学校
关键词:图像去雨;中值滤波;引导滤波
中图分类号:TU 文献标识码:A 文章编号:(2020)-04-061
光学侦察监视技术发展迅猛,目标识别与跟踪、卫星照相侦察、航拍监测等领域大量使用了光学照相、摄像设备,由于光学侦察设备的直观、实时、抗电磁干扰等优点,备受重視和欢迎。但是,光学侦察设备存在一个致命的弱点,就是在恶劣天气条件下成像质量大幅下降,甚至完全失效。可见,研究恶劣天气条件下的图像修复意义重大。图像去雨的方法,目前可分为软件去雨和硬件去雨。硬件去雨是哥伦比亚大学率先提出的,调节摄像机的各项参数来降低或消除视频中雨滴的可见性。软件去雨又分两类:一是频域内基于模型去雨,二是时域内基于像素去雨。
一、雨天图像特性
雨滴的尺寸一般为0.1-3.5mm,人眼能够看到。雨滴落速很快,正常的曝光时间内容易产生运动模糊,图像拍摄中显示为雨线,在图像中雨线的像素宽度通常为几个到十几个像素。由于光线经过雨滴的反射和折射,而且雨滴折射的角度很大,所以雨滴在图像中很亮,一般比被遮挡的背景要亮,人眼可以明显地看到挡住背景的亮的雨线。因此无人机采用俯视等角度拍摄的雨天图像中,雨滴一般呈现为雨线、雨斑,比背景要亮。
基于雨滴的外表特性,雨通常被当成是比周围背景亮的较小边缘。在图像处理过程中,基于周围与边缘的像素值的关系,图像中的边缘可以分为三种。第一种:周围的像素值相比边缘的像素值,有些地方高,有些地方低,这种边缘称之为阶跃边缘。第二种:周围的所有像素值都比边缘的像素值低,这种边缘称之为山脊状边缘。第三种:周围的所有像素值都比边缘的像素值高,这种边缘称之为山谷状边缘。雨线属于较小的第二种边缘,而这种边缘位于图像中的高频部分。
在图像去雨方法研究中,常用的物理模型描述为:受雨滴影响的像素可以看作雨滴和背景相互作用的效果,作用过程和效果为线性叠加,即图像由雨图像和背景图像组成。去雨工作主要是在观测图像基础上恢复出背景图像。
二、图像去雨的实现
图像去雨最早可追溯到日本富山大学Hase采用中值滤波方式去除雪花,雪花和雨在图像的效果类似。之后哥伦比亚大学的Garg和Nayar于2004和2007年分析了雨滴的运动和光学特性,构造了动力学和光度学模型来检测雨滴。但在区分雨滴和其他运动目标过程中需要31帧图像进行计算,不满足实时要求,并且对大雨的效果不理想。澳洲国立大学的Brewer于2008年提出仅需3帧图像就能去雨的方法,原理与Garg的类似,但需要雨滴和相机的相关参数。,台湾清华大学的Fu等2011年提出基于图像分解的方法,其中图像中雨的部分可以通过稀疏表示和字典学习区分出来,主要是基于雨线在单幅图像中的方向是一致的。2012年,台湾元智大学的Chen等人提出为提高检测的准确性,可以应用不同的深度信息(DoD)和方向梯度直方图(HoG)来去雨,使恢复的图像视觉效果更好。同年,哈尔滨工业大学徐晶给出了单幅图像基于引导滤波(Guided Filter)去雨雪的方法,认为在RGB上的影响雨雪对背景几乎相等,将每一点的最大RGB值减去最小RGB值得到背景信息的图像,作为去除雨雪的参考图像,又认为雨雪比背景更亮,进一步运用Guided Filter去除雨雪。虽然去除雨和雪的效果很好,但是图像会出现模糊。2013年,韩国Kim等认为雨线呈现椭圆形状并且主要处于垂直方向。通过椭圆表示比率和角度表示图像来检测雨线。同年,台湾清华大学Chen等根据雨线在图像或视频中通常以重复的和相同的外表模型显示,提出一种新的低秩模型去雨,该方法去雨效果很好,运行效率很高。2014年,Chen等又通过构造HoG,DoF和Eigen color(固有颜色)的混合特征,尝试从高频部分去雨,去雨效果在单幅彩色图像中是最好的。
Chen的算法首先采用引导滤波器将一幅彩色图像分解为高频和低频部分,然后基于字典学习和稀疏编码,将高频部分进一步分解,分解为无雨和有雨分量,最后综合采用包括HoG、DoF景深和Eigen color在内的多种特征,从高频部分将雨线的纹理或边缘与非雨区域进行区分。由于导引滤波器是显式滤波器,该算法既保证了线性时间复杂度,又出色地保持了图像边缘的效果。
参考文献
[1] 汤红忠,王翔,张小刚等. 面向单幅图像去雨的非相干字典学习及其稀疏表示研究[J]. 通信学报,2017(7).
[2] 顾巧玲,吴健学. 基于非局部均值滤波的视频图像去雨方法[J]. 信息技术,2017(1).
[3] 韩裕生,周远.基于内部生成机制和稀疏分解的单幅图像去雨方法[J]. 陆军军官学院学报,2015(2).
作者单位:火箭军士官学校