雨属于复杂天气环境中的一种时变性最强、最为复杂的天气因素。在室外条件下获得的图像序列容易受到复杂天气环境的不利影响,使图像序列的视觉效果和数据质量下降,进而直接导致对目标的监测、跟踪和识别的可靠性下降。为了使户外的视觉系统对不同的天气环境具有鲁棒性,必须对天气环境进行建模,并且对此设计出算法来消除天气因素的影响。雨使得被影响的图像和视频中的像素点的光强发生突变。本文对雨滴进行建模,分析了雨滴的物理特性。通过对雨滴光学特性的分析,阐述了雨滴对图像造成怎样的视觉影响,推导出雨滴引起的背景光强突变和原始背景光强之间近似的线性关系。通过实验论证了雨滴在自然场景下获得的视频帧中表现出的时域特性。并且根据以上特性,运用混合高斯模型来设计分类器,通过期望最大化算法来估计模型的参数。基于对雨滴建立的视觉模型,本文通过不同分量的传统高斯混合模型作为分类器来检测雨滴,并通过分析实验结果对比说明这些模型应用在本课题中不足之处。然后,通过分析一般条件下拍摄的雨中场景的一些特性,结合雨滴的相关特性,提出一种带衰减系数的3分量混合高斯模型作为分类器来检测视频中的雨滴雨线。根据人眼视觉特性,确定衰减系数最优的形式,并通过实验来确定本文改进的混合高斯模型的具体参数。最后在雨滴色彩特性的基础上,利用该特性可以区分雨滴和背景中运动的物体。本文在雨滴检测方法的基础之上,提出了一种更有效地去除雨滴的方法。对于当前帧中受雨影响的像素点,利用离它最近被雨滴检测算法判定为背景的前后两帧的均值来替换该像素点来达到去除视频图像中雨滴雨线的目的。这种方法可以使得处理之后的图像保持原有风貌,不至于失真。通过与Nayar处理方法、2分量混合高斯模型检测去除雨滴的结果对比,从主观视觉效果上来看,本文提出的方法在对于处理一般情况下拍摄的雨中场景的样本效果更好,能够检测出一些离摄像机较远的、视觉上不太明显的雨滴,并能有效地抑制噪声,表现出良好的鲁棒性。