论文部分内容阅读
图像和视频作为人类获取外界信息的重要的载体,在采集、获取和传输过程中会因为环境影响混杂噪声,导致图片和视频的细节信息被覆盖,从而干扰人类对原始图片和视频的理解和后续的应用。而图像去噪和视频去噪的目的就是在去除混杂在图片和视频中噪声的同时恢复图片和视频中的边缘信息和纹理信息。目前流行的图像去噪算法和视频去噪算法主要可以分为两类:一类是传统的基于非局部自相似的去噪算法,另一类去噪算法是基于卷积神经网络(Convolutional Neural Network,CNN)的去噪算法。由于卷积神经网络具有强大的特征学习能力等优点受到广泛的关注。本文主要应用卷积神经网络研究图像去噪问题和视频去噪问题。主要的研究工作可以总结如下:
首先,本文对图片去噪任务和视频去噪任务之间异同进行了分析和解释。以学习图片中的空间特征和视频中的时空特征的角度为出发点开展去噪任务。然后,针对图片去噪任务提出了一种多尺度膨胀卷积残差网络。该算法可以凭借有限的参数量实现具有竞争性的去噪结果。具体来说,该算法提出使用膨胀卷积(Dilated convolution)代替常规卷积减小模型的复杂度,并且据设计了混合膨胀率模式(Hybrid Dilation Rate Pattern,HDP)来设置膨胀卷积层的膨胀系数,有效的解决了使用膨胀卷积带了信息泄露问题。此外,该算法充分考虑了对于图像去噪任务非常重要的低水平特征,设计了多尺度特征提取结构来更好的学习和表示低水平特征。在公开的BSD68数据集上的对比实验证明了我们方法的优越性。
然后,提出基于增强框架(Boosting framework)的视频去噪框架。首先,该增强框架是通过堆叠几个弱的去噪器来构建的,这种构建方式可以充分挖掘各个弱的去噪器的优点。其次,该增强框架通过可以学习的时空卷积核来学习输入视频序列的时空特征,同步完成视频序列的空间去噪和时间去噪。最后,该增强框架在去噪时不需要参考帧,可以对多帧含噪视频帧同时去噪,这种平行处理机制对于提升算法的去噪效率有很大帮助。
最后,基于提出的增强框架,本文提出了时空卷积网络(Spatiotemporal convolutional networks,StNet)作为弱的去噪器来构建增强框架。针对级联多个时空卷积网络可能出现的梯度消失问题,本文在设计时空卷积网络的时候,使用跳跃连接(Skip Connection)和残差学习(Residual Learning)来加速网络的收敛。并将搭建的增强框架应用到包括灰度视频去噪和彩色视频去噪的仿真实验中,实验结果证明了该算法在去噪效果和去噪效率上的优越性。
首先,本文对图片去噪任务和视频去噪任务之间异同进行了分析和解释。以学习图片中的空间特征和视频中的时空特征的角度为出发点开展去噪任务。然后,针对图片去噪任务提出了一种多尺度膨胀卷积残差网络。该算法可以凭借有限的参数量实现具有竞争性的去噪结果。具体来说,该算法提出使用膨胀卷积(Dilated convolution)代替常规卷积减小模型的复杂度,并且据设计了混合膨胀率模式(Hybrid Dilation Rate Pattern,HDP)来设置膨胀卷积层的膨胀系数,有效的解决了使用膨胀卷积带了信息泄露问题。此外,该算法充分考虑了对于图像去噪任务非常重要的低水平特征,设计了多尺度特征提取结构来更好的学习和表示低水平特征。在公开的BSD68数据集上的对比实验证明了我们方法的优越性。
然后,提出基于增强框架(Boosting framework)的视频去噪框架。首先,该增强框架是通过堆叠几个弱的去噪器来构建的,这种构建方式可以充分挖掘各个弱的去噪器的优点。其次,该增强框架通过可以学习的时空卷积核来学习输入视频序列的时空特征,同步完成视频序列的空间去噪和时间去噪。最后,该增强框架在去噪时不需要参考帧,可以对多帧含噪视频帧同时去噪,这种平行处理机制对于提升算法的去噪效率有很大帮助。
最后,基于提出的增强框架,本文提出了时空卷积网络(Spatiotemporal convolutional networks,StNet)作为弱的去噪器来构建增强框架。针对级联多个时空卷积网络可能出现的梯度消失问题,本文在设计时空卷积网络的时候,使用跳跃连接(Skip Connection)和残差学习(Residual Learning)来加速网络的收敛。并将搭建的增强框架应用到包括灰度视频去噪和彩色视频去噪的仿真实验中,实验结果证明了该算法在去噪效果和去噪效率上的优越性。