论文部分内容阅读
视频不仅是人类生活的重要组成部分,而且在各个领域的应用都占有关键性地位。面对视频压缩效率的亟需,下一代视频编码标准VVC、AVS3已经诞生并取得了良好的压缩效益。另一方面,深度学习在各领域展现出的独有优势,使其已经被广泛应用在视频编码,比如帧间预测、环路滤波等,近年更是不乏有优秀的端到端深度学习图像压缩算法在图像压缩方面取得了前所未有的成果。视频编码框架中的帧内预测模块是对当前帧进行压缩,当前帧可以看作一张图片,原理上这张图片的压缩方式可以采用端到端深度学习方法,而目前未有将端到端深度学习图像压缩直接应用在视频编码框架的先例,所以它对视频编码效益和质量的影响有待研究。本文基于视频编码框架中的帧内压缩编码与端到端深度学习图像压缩编码的置换可行性的基础上,设计利用端到端图像压缩算法完成视频编码框架中的帧内压缩的工作,并与整个编码框架相融合,本文将探究其实现的方法并予以实践,对新框架的编码效益和质量进行分析归纳。本文将选取最新的端到端深度学习图像压缩算法,包括基于超先验VAE的图像压缩算法、基于自回归分层先验的图像压缩算法、基于上下文卷积网络熵模型的图像压缩算法,并在此基础上,根据每个算法的特性,研究其完成帧内编码的可行性,分别基于VVC视频编码标准对视频编码框架进行设计,并分别按照本文的设计在VVC对应软件VTM6.0上将原理进行实现。此外,本文将对提出的每个新型视频编解码框架进行质量评估。在VTM6.0上实现之后,选取HEVC的测试视频序列Class C、Class D、Class E中的所有视频进行编码然后解码,并且将以PSNR对齐和码率对齐的方式与原始VTM6.0进行对比试验,另外对所有对比实验结果将从客观角度和主观角度两个方面进行分析和总结。从客观角度,根据新框架的内在数据规律和与VTM6.0的对比规律进行总结,从主观角度,采用多人多次观察归纳并反复比对的方法分析。综上所述,本文提出了利用端到端深度学习图像压缩算法实现视频编码中帧内编码压缩的新理念,并在丰富的实验中证明了可行性,针对不同图像压缩算法设计了新型视频编码框架并予以实现,完成了从原理到实践的突破,其后对新框架进行了丰富的客观和主观测试。实验结果表示,不同的图像压缩算法给视频编码框架带来不同的效益,有的在主观效果上甚至超越了VTM6.0,证明了端到端深度学习图像压缩在视频编码框架是可以应用的。