论文部分内容阅读
摘要：针对图像去雨技术特点，分析了雨滴的性能、雨滴在图像中的显示特性以及去雨常用物理模型，讨论了去雨技术的发展和目前较好的去雨方法。
关键词：图像去雨;中值滤波;引导滤波
中图分类号：TU 文献标识码：A 文章编号：（2020）-04-061
光学侦察监视技术发展迅猛，目标识别与跟踪、卫星照相侦察、航拍监测等领域大量使用了光学照相、摄像设备，由于光学侦察设备的直观、实时、抗电磁干扰等优点，备受重視和欢迎。但是，光学侦察设备存在一个致命的弱点，就是在恶劣天气条件下成像质量大幅下降，甚至完全失效。可见，研究恶劣天气条件下的图像修复意义重大。图像去雨的方法，目前可分为软件去雨和硬件去雨。硬件去雨是哥伦比亚大学率先提出的，调节摄像机的各项参数来降低或消除视频中雨滴的可见性。软件去雨又分两类：一是频域内基于模型去雨，二是时域内基于像素去雨。
一、雨天图像特性
雨滴的尺寸一般为0.1-3.5mm，人眼能够看到。雨滴落速很快，正常的曝光时间内容易产生运动模糊，图像拍摄中显示为雨线，在图像中雨线的像素宽度通常为几个到十几个像素。由于光线经过雨滴的反射和折射，而且雨滴折射的角度很大，所以雨滴在图像中很亮，一般比被遮挡的背景要亮，人眼可以明显地看到挡住背景的亮的雨线。因此无人机采用俯视等角度拍摄的雨天图像中，雨滴一般呈现为雨线、雨斑，比背景要亮。
基于雨滴的外表特性，雨通常被当成是比周围背景亮的较小边缘。在图像处理过程中，基于周围与边缘的像素值的关系，图像中的边缘可以分为三种。第一种：周围的像素值相比边缘的像素值，有些地方高，有些地方低，这种边缘称之为阶跃边缘。第二种：周围的所有像素值都比边缘的像素值低，这种边缘称之为山脊状边缘。第三种：周围的所有像素值都比边缘的像素值高，这种边缘称之为山谷状边缘。雨线属于较小的第二种边缘，而这种边缘位于图像中的高频部分。
在图像去雨方法研究中，常用的物理模型描述为：受雨滴影响的像素可以看作雨滴和背景相互作用的效果，作用过程和效果为线性叠加，即图像由雨图像和背景图像组成。去雨工作主要是在观测图像基础上恢复出背景图像。
二、图像去雨的实现
图像去雨最早可追溯到日本富山大学Hase采用中值滤波方式去除雪花，雪花和雨在图像的效果类似。之后哥伦比亚大学的Garg和Nayar于2004和2007年分析了雨滴的运动和光学特性，构造了动力学和光度学模型来检测雨滴。但在区分雨滴和其他运动目标过程中需要31帧图像进行计算，不满足实时要求，并且对大雨的效果不理想。澳洲国立大学的Brewer于2008年提出仅需3帧图像就能去雨的方法，原理与Garg的类似，但需要雨滴和相机的相关参数。，台湾清华大学的Fu等2011年提出基于图像分解的方法，其中图像中雨的部分可以通过稀疏表示和字典学习区分出来，主要是基于雨线在单幅图像中的方向是一致的。2012年，台湾元智大学的Chen等人提出为提高检测的准确性，可以应用不同的深度信息（DoD）和方向梯度直方图（HoG）来去雨，使恢复的图像视觉效果更好。同年，哈尔滨工业大学徐晶给出了单幅图像基于引导滤波（Guided Filter）去雨雪的方法，认为在RGB上的影响雨雪对背景几乎相等，将每一点的最大RGB值减去最小RGB值得到背景信息的图像，作为去除雨雪的参考图像，又认为雨雪比背景更亮，进一步运用Guided Filter去除雨雪。虽然去除雨和雪的效果很好，但是图像会出现模糊。2013年，韩国Kim等认为雨线呈现椭圆形状并且主要处于垂直方向。通过椭圆表示比率和角度表示图像来检测雨线。同年，台湾清华大学Chen等根据雨线在图像或视频中通常以重复的和相同的外表模型显示，提出一种新的低秩模型去雨，该方法去雨效果很好，运行效率很高。2014年，Chen等又通过构造HoG，DoF和Eigen color（固有颜色）的混合特征，尝试从高频部分去雨，去雨效果在单幅彩色图像中是最好的。
Chen的算法首先采用引导滤波器将一幅彩色图像分解为高频和低频部分，然后基于字典学习和稀疏编码，将高频部分进一步分解，分解为无雨和有雨分量，最后综合采用包括HoG、DoF景深和Eigen color在内的多种特征，从高频部分将雨线的纹理或边缘与非雨区域进行区分。由于导引滤波器是显式滤波器，该算法既保证了线性时间复杂度，又出色地保持了图像边缘的效果。
参考文献
[1] 汤红忠，王翔，张小刚等. 面向单幅图像去雨的非相干字典学习及其稀疏表示研究[J]. 通信学报，2017（7）.
[2] 顾巧玲，吴健学. 基于非局部均值滤波的视频图像去雨方法[J]. 信息技术，2017（1）.
[3] 韩裕生，周远.基于内部生成机制和稀疏分解的单幅图像去雨方法[J]. 陆军军官学院学报，2015（2）.
作者单位：火箭军士官学校
关键词：图像去雨;中值滤波;引导滤波
中图分类号：TU 文献标识码：A 文章编号：（2020）-04-061
光学侦察监视技术发展迅猛，目标识别与跟踪、卫星照相侦察、航拍监测等领域大量使用了光学照相、摄像设备，由于光学侦察设备的直观、实时、抗电磁干扰等优点，备受重視和欢迎。但是，光学侦察设备存在一个致命的弱点，就是在恶劣天气条件下成像质量大幅下降，甚至完全失效。可见，研究恶劣天气条件下的图像修复意义重大。图像去雨的方法，目前可分为软件去雨和硬件去雨。硬件去雨是哥伦比亚大学率先提出的，调节摄像机的各项参数来降低或消除视频中雨滴的可见性。软件去雨又分两类：一是频域内基于模型去雨，二是时域内基于像素去雨。
一、雨天图像特性
雨滴的尺寸一般为0.1-3.5mm，人眼能够看到。雨滴落速很快，正常的曝光时间内容易产生运动模糊，图像拍摄中显示为雨线，在图像中雨线的像素宽度通常为几个到十几个像素。由于光线经过雨滴的反射和折射，而且雨滴折射的角度很大，所以雨滴在图像中很亮，一般比被遮挡的背景要亮，人眼可以明显地看到挡住背景的亮的雨线。因此无人机采用俯视等角度拍摄的雨天图像中，雨滴一般呈现为雨线、雨斑，比背景要亮。
基于雨滴的外表特性，雨通常被当成是比周围背景亮的较小边缘。在图像处理过程中，基于周围与边缘的像素值的关系，图像中的边缘可以分为三种。第一种：周围的像素值相比边缘的像素值，有些地方高，有些地方低，这种边缘称之为阶跃边缘。第二种：周围的所有像素值都比边缘的像素值低，这种边缘称之为山脊状边缘。第三种：周围的所有像素值都比边缘的像素值高，这种边缘称之为山谷状边缘。雨线属于较小的第二种边缘，而这种边缘位于图像中的高频部分。
在图像去雨方法研究中，常用的物理模型描述为：受雨滴影响的像素可以看作雨滴和背景相互作用的效果，作用过程和效果为线性叠加，即图像由雨图像和背景图像组成。去雨工作主要是在观测图像基础上恢复出背景图像。
二、图像去雨的实现
图像去雨最早可追溯到日本富山大学Hase采用中值滤波方式去除雪花，雪花和雨在图像的效果类似。之后哥伦比亚大学的Garg和Nayar于2004和2007年分析了雨滴的运动和光学特性，构造了动力学和光度学模型来检测雨滴。但在区分雨滴和其他运动目标过程中需要31帧图像进行计算，不满足实时要求，并且对大雨的效果不理想。澳洲国立大学的Brewer于2008年提出仅需3帧图像就能去雨的方法，原理与Garg的类似，但需要雨滴和相机的相关参数。，台湾清华大学的Fu等2011年提出基于图像分解的方法，其中图像中雨的部分可以通过稀疏表示和字典学习区分出来，主要是基于雨线在单幅图像中的方向是一致的。2012年，台湾元智大学的Chen等人提出为提高检测的准确性，可以应用不同的深度信息（DoD）和方向梯度直方图（HoG）来去雨，使恢复的图像视觉效果更好。同年，哈尔滨工业大学徐晶给出了单幅图像基于引导滤波（Guided Filter）去雨雪的方法，认为在RGB上的影响雨雪对背景几乎相等，将每一点的最大RGB值减去最小RGB值得到背景信息的图像，作为去除雨雪的参考图像，又认为雨雪比背景更亮，进一步运用Guided Filter去除雨雪。虽然去除雨和雪的效果很好，但是图像会出现模糊。2013年，韩国Kim等认为雨线呈现椭圆形状并且主要处于垂直方向。通过椭圆表示比率和角度表示图像来检测雨线。同年，台湾清华大学Chen等根据雨线在图像或视频中通常以重复的和相同的外表模型显示，提出一种新的低秩模型去雨，该方法去雨效果很好，运行效率很高。2014年，Chen等又通过构造HoG，DoF和Eigen color（固有颜色）的混合特征，尝试从高频部分去雨，去雨效果在单幅彩色图像中是最好的。
Chen的算法首先采用引导滤波器将一幅彩色图像分解为高频和低频部分，然后基于字典学习和稀疏编码，将高频部分进一步分解，分解为无雨和有雨分量，最后综合采用包括HoG、DoF景深和Eigen color在内的多种特征，从高频部分将雨线的纹理或边缘与非雨区域进行区分。由于导引滤波器是显式滤波器，该算法既保证了线性时间复杂度，又出色地保持了图像边缘的效果。
参考文献
[1] 汤红忠，王翔，张小刚等. 面向单幅图像去雨的非相干字典学习及其稀疏表示研究[J]. 通信学报，2017（7）.
[2] 顾巧玲，吴健学. 基于非局部均值滤波的视频图像去雨方法[J]. 信息技术，2017（1）.
[3] 韩裕生，周远.基于内部生成机制和稀疏分解的单幅图像去雨方法[J]. 陆军军官学院学报，2015（2）.
作者单位：火箭军士官学校