论文部分内容阅读
在实际的视频编解码系统中,通过对编码前的视频进行下采样,对解码后的视频进行上采样在特定情况下能够有效地提升整体的压缩效率。这种基于上下采样的视频编解码系统中,上下采样的重建性能很大程度上影响了系统的压缩效率。对此,本文对现有的上下采样技术进行了优化,实现了一个具有更高压缩效率的基于上下采样的视频编解码系统。本文的具体研究内容与创新点如下:1.从信息论的角度对视频压缩过程进行分析,证明在视频编解码的前后端加入上下采样对提高整体编码效率有意义:本文从信息论的角度分析了视频压缩过程中,视频与码流的数据量与视频信息量之间的关系;探讨视频压缩算法该如何挖掘视频信源的先验知识,从而提升算法的压缩效率;最后论证在视频编解码前后端加入上下采样能够有效地重改造信源,提高整个编码系统在该信源上的压缩效率。2.设计了基于像素重排列的下采样网络,实现更高的上下采样重建性能:在超分辨率领域中,基于神经网络的上采样手段往往能比传统上采样手段拥有更高的重建性能。借鉴该思想,本文设计了下采样网络来替换传统的双三次下采样,实现了42d B以上的重建质量,相比于双三次下采样有着7d B的增益。其中,下采样网络通过像素重排列(pixel shuffle)的方式实现图像分辨率的下降,比使用卷积有着更高的重建质量。3.设计了模拟编解码网络,实现编解码前后端上下采样网络的联合优化:在跨编解码器联合优化上下采样网络时,中间的编解码过程由于其不可求导的特性,会阻碍梯度的反向传递,从而阻止网络的训练。对此,本文创新地设计了一个可导的模拟编解码网络来模拟实际编解码失真。在联合优化上下采样网络时,用模拟编解码网络替换实际编解码过程,实现编解码过程的可导化。经过联合优化后的上下采样网络相比于联合优化前,在整个编码系统的重建PSNR与重建SSIM上,分别有着46.88%和55.15%的BD-rate性能增益。