论文部分内容阅读
运动模糊是一种常见的视频质量退化现象。运动模糊一般是由于相机和拍摄场景之间的相对运动导致的,比如相机抖动或物体运动。视频中的运动模糊往往损害视频中有价值的信息,降低视频的视觉质量。视频去模糊不仅能改善视觉质量,而且有益于目标检测等视频后续处理。但是,由于动态场景结构的复杂性和相机运动的不规律性,视频中的运动模糊往往是空间变化且时间变化的。而且,视频去模糊是一个高度不适定的问题。所以,视频去模糊是一个重要但又非常具有挑战性的任务。
视频去模糊可以被视为一个高度不适定的求逆问题。为了研究视频去模糊算法,本文首先深入分析了视频模糊的成像原理。对于本文关注的运动模糊,我们探讨了几种常见的运动模型。基于运动模糊的形成机制,本文也介绍了如何模拟运动模糊,制作模糊视频数据集。
对于视频去模糊方法,本文深入研究了反卷积视频去模糊方法和深度学习视频去模糊方法。光流在这两种方法中都发挥了重要作用。对于反卷积视频去模糊方法,如何根据运动信息假设一个合理的模糊核模型非常重要。单张图像去模糊往往使用单应矩阵或仿射矩阵来近似图像的模糊核,然而这些模糊核近似方法只能建模完整图像或部分图像的运动,无法模拟逐像素的密集运动。鉴于视频中运动信息的复杂性,光流是一种简单有效的帧间运动模型,可以用来近似帧内运动导致的运动模糊。为了处理复杂动态场景中的运动模糊,本文深入研究了一种基于分段线性模糊核的反卷积视频去模糊方法。该方法采用双向光流来模拟逐像素的模糊核,这种方法可以更有效地建模运动物体导致的空间变化模糊。为了加快计算速度,该方法采用了一种从粗到细的多尺度计算策略。
对于深度学习视频去模糊方法,基于光流的图像对齐可以增强模型对运动信息的学习能力,并有效利用时域信息。因此,本文提出了一种基于图像对齐和自适应信息融合的深度学习视频去模糊方法。为了充分利用视频中相邻帧的互补信息,该方法将通过估计光流来进行运动估计,并通过运动补偿方法将目标图像对齐到参考图像。为了抑制对齐误差造成的伪影,该方法采用自适应信息融合方法自适应地采用相邻帧信息。为了全面分析深度学习视频去模糊方法,本文除了采用视觉对比和峰值信号噪声比等传统方法分析去模糊方法的效果,也将通过的目标检测实验验证视频去模糊作为一种视频预处理是否能提高视频中物体的辨识度。
通过实验验证,本文研究的反卷积视频去模糊方法和深度学习视频去模糊方法都可以显著减轻视频模糊,增加视频清晰度。但是深度学习视频去模糊方法速度更快,取得了更好的视觉效果,也可以改善目标检测效果。
视频去模糊可以被视为一个高度不适定的求逆问题。为了研究视频去模糊算法,本文首先深入分析了视频模糊的成像原理。对于本文关注的运动模糊,我们探讨了几种常见的运动模型。基于运动模糊的形成机制,本文也介绍了如何模拟运动模糊,制作模糊视频数据集。
对于视频去模糊方法,本文深入研究了反卷积视频去模糊方法和深度学习视频去模糊方法。光流在这两种方法中都发挥了重要作用。对于反卷积视频去模糊方法,如何根据运动信息假设一个合理的模糊核模型非常重要。单张图像去模糊往往使用单应矩阵或仿射矩阵来近似图像的模糊核,然而这些模糊核近似方法只能建模完整图像或部分图像的运动,无法模拟逐像素的密集运动。鉴于视频中运动信息的复杂性,光流是一种简单有效的帧间运动模型,可以用来近似帧内运动导致的运动模糊。为了处理复杂动态场景中的运动模糊,本文深入研究了一种基于分段线性模糊核的反卷积视频去模糊方法。该方法采用双向光流来模拟逐像素的模糊核,这种方法可以更有效地建模运动物体导致的空间变化模糊。为了加快计算速度,该方法采用了一种从粗到细的多尺度计算策略。
对于深度学习视频去模糊方法,基于光流的图像对齐可以增强模型对运动信息的学习能力,并有效利用时域信息。因此,本文提出了一种基于图像对齐和自适应信息融合的深度学习视频去模糊方法。为了充分利用视频中相邻帧的互补信息,该方法将通过估计光流来进行运动估计,并通过运动补偿方法将目标图像对齐到参考图像。为了抑制对齐误差造成的伪影,该方法采用自适应信息融合方法自适应地采用相邻帧信息。为了全面分析深度学习视频去模糊方法,本文除了采用视觉对比和峰值信号噪声比等传统方法分析去模糊方法的效果,也将通过的目标检测实验验证视频去模糊作为一种视频预处理是否能提高视频中物体的辨识度。
通过实验验证,本文研究的反卷积视频去模糊方法和深度学习视频去模糊方法都可以显著减轻视频模糊,增加视频清晰度。但是深度学习视频去模糊方法速度更快,取得了更好的视觉效果,也可以改善目标检测效果。