在日常生活当中,人们经常会受到恶劣天气的影响,比如大雾天气、大雪天气、暴雨天气,这些恶劣天气不仅影响着人们的正常出行,还会对拍摄的图像或者视频造成干扰降质。本文的研究目的就是如何减小这种恶劣天气对计算机视觉系统的影响并且恢复被恶劣天气干扰的图像。由于深卷积神经网络的发展,单幅图像去雨的研究最近取得了很大的进展。然而,现有的这些方法都将卷积神经网络看作一个封装的端到端映射模块,没有深入探讨神经网络设计的合理性和优越性。本文研究了一种有效的端到端神经网络结构,用于增强特征表达和前后网络空间的特征联系。具体来说,本文提出了一种多尺度特征聚合的编码解码网络(FJDN)框架,该网络的整体框架由编码-解码网络组成,每一个编码网络对应着一个解码网络。编码网络通过最大池化层降维和下采样,在进行最大池化的过程中记录最大池化的索引位置,并由该池化索引来引导对应的解码网络的上采样恢复过程。其中,编码网络和解码网络在卷积层是一样的,都是特征聚合密集连接网络模块(FJDB),只有最大池化和其对应的而上采样过程不同。通过这样先下采样然后再引导上采样恢复的过程能够很有效的学习到更加抽象的而特征,以便于完美的刻画雨线特征同时更好的保留背景细节信息。本文提出的去雨算法在合成数据集和真实数据集上做了大量实验,实验证明该方法能够有效地去除不同密度的雨条纹,同时很好地保留了图像的细节,通过对比最新的算法研究也证明了本文提出的算法的优越性。另外,本文还将提出的算法应用于图像去雾问题,也取得了优秀的结果。