论文部分内容阅读
视频编码作为压缩视频的一种重要手段,目前最新的一代视频编码标准为HEVC,HEVC不仅获得了高额的压缩率,而且大幅地降低传输码流大小。但是在低码率下,由于编码器采用较大的量化参数,会引入很大的压缩失真,其中图像细节丢失,视频图像中会出现严重的伪影现象,造成图像的严重失真,使人为观感受到了极大的影响。针对低码率视频编码过程中采用较大量化参数导致的压缩失真过大的问题,研究了基于深度学习的低码率视频编码质量提升的算法,深度学习作为一种近几年来发展比较迅速的一门学科,相比于之前的传统方法,深度学习在增强图像质量,降低视频码流等取得了非常好的处理结果。在我们的实际应用场景中,我们会遇到在带宽不足的情况下又需要传输分辨率比较大的视频,现有的视频编码标准不足以提供一个完美的参数能够获得很好的压缩后的视频。为了解决这一问题,本文提出了一种基于视频图像重构神经网络的视频框架。首先,我们重新定义了一下编码框架,首先降低视频空域的信息量,将高分辨率视频下采样到低分辨率视频,对低分辨率视频再由编码器进行压缩传输得到受损的低分辨视频,而后将解码的低分辨率视频图像重构恢复到原始分辨率。视频图像重构神经网络作为该编码框架中最重要的组成部分,该网络的性能好坏决定着视频图像的质量。通过实验的分析最终决定视频图像重构神经网络主要包含两方面:图像修复与图像超分辨率。图像修复网络主要作用是去除编码器在低码率下带来的图像失真和块效应消除,图像超分辨率网络主要作用是将解码后受损的视频图像分辨率扩大到目标分辨率,提高视频像重建质量,尽可能多地保留图像的细节。通过构建训练集以及损失函数的整合,通过不断的训练测试使得网络对视频图像重构处理的性能达到最好。在测试过程中,我们保证编码器与新的编码框架在编码视频时采用相同的码率编码测试,在对不同类型的测试视频测试后,基于视频图像重构的编码框架比HEVC编码框架能够获得平均0.5dB的PSNR增益,比Bicubic方法上采样能够获得平均约0.4dB的PSNR增益。除此之外最重要的一点是,与HEVC相比基于视频图像重构的编码框架能够有效去除在低码率下视频编码带来的压缩失真,主要包括块效应,振铃效应,伪影,模糊等噪声,并且能够保持图像的边缘信息和纹理细节信息,大为改善主观质量,能够大幅度提升视频质量。