论文部分内容阅读
图像和视频压缩一直是学术界和工业界研究的热点之一。近年来,随着深度学习技术的发展,尤其是卷积神经网络在图像处理和计算机视觉领域的成功应用,利用深度学习技术来对图像和视频高效压缩成为可能。目前深度学习技术在高层视觉领域,如图像分类,目标检测,目标跟踪,图像分割,人脸识别等,已经取得了突破性的研究成果,然而在低层视觉上,如图像压缩,图像复原等领域的应用还具有很大的研究潜力和价值。本文以深度学习技术为基础,主要研究工作分为以下两个部分:一、提出了基于深度学习的端到端图像压缩框架,将深度学习技术与传统的图像编解码器(如JPEG,JPEG2000和BPG等)无缝的衔接起来,进一步提高编解码器的压缩性能。二、着眼于视频帧率转换中的插帧技术,提出了基于运动补偿模型的深度学习插帧网络模型。为了能提高压缩图像质量的同时提高压缩比,我们将两个卷积神经网络和传统编解码器整合到一个端到端的图像压缩框架中。第一个卷积神经网络Com CNN在编码器前端,用来学习原图像的紧凑表示,学习到的紧凑表示被送到传统编码器进行编码。第二个卷积神经网络Rec CNN在解码器后端,通过解码后的紧凑表示来高质量的重建原图像。为了让这两个卷积神经网络互相协作学习,我们提出了一个端到端的学习算法来同时学习Com CNN和Rec CNN,学习到的Rec CNN可以精确地重建原图像。本文提出的图像压缩框架可以兼容现有的编解码器。实验结果表明,本文提出的图像压缩框架远优于其他的图像压缩后处理方法,提高了传统编解码器的压缩性能。在低带宽环境下,视频帧率转换技术是视频压缩的关键技术之一。本文提出了一种基于运动补偿的视频插帧深度网络模型MCIF,其中运动补偿子网络MCsubnet可以准确估计前后帧运动信息。在MC-subnet网络模型中,利用了前后帧的多尺度特征,让网络更加精确地学习到多种运动模式。图像质量增强子网络QEsubnet采用慢融合的网络结构,生成了高质量的中间帧。实验结果表明,本文提出的视频插帧方法可以更精确地捕捉运动信息,生成的中间帧质量更好。