论文部分内容阅读
随着数字信息时代的到来,大规模的图像和视频已经成为了信息传播的重要媒介。由于移动互联网的驱动,人们对于图像以及视频的获取变得更为热情。但是很多的高清视频的容量越来越大,观看高清视频需要消耗大量的流量并且有限的带宽使得高清视频的播放质量不能满足人们的需求。因此,需要先将视频进行压缩再进行传输。为了更好的减小带宽,需要对压缩的视频进行低帧率的传输,在接收端利用插值的方式将低帧率的压缩视频恢复到原来的帧率,这就是帧率上转换技术。这种技术不仅能够提高视频的帧率,还能减少视频播放过程中卡顿现象,能极大的提高用户的视觉体验,所以帧率上转换的研究具有重要的现实意义。目前比较流行的帧率上转换技术是利用运动估计和运动补偿,这种方法是通过计算出各个宏块的运动矢量来进行插值。虽然帧率上转换技术已经逐渐成熟,但是视频中运动剧烈的部分还是会产生很多的块效应。另一方面,利用目前的主流压缩标准对视频进行压缩会损失很多的信息,这也增加了帧率上转换技术恢复的难度。为了解决这一问题,本文提出了两种算法对压缩的视频进行帧率上转换。第一种算法是利用一个深度残差网络对经过传统的帧率上转换算法后的插值帧进行处理,相当于一个后滤波器的作用,能有效的去除经过传统的帧率上转换后产生的块效应。这个网络是由三个部分组成的,分别是特征提取,特征递归分析以及图像复原。第二种算法是先用两个深度卷积网络分别对经过双向运动估计得到的前后向运动估计帧进行特征提取,再将这两个网络的输出结合成一个初始的插值帧,然后把初始的插值帧输入到一个深度残差网络进行增强,最后得到最终的插值帧。实验结果表明,本文提出的两种算法在主观上和客观上比起传统的帧率上转换算法有提高并有效的解决了块效应的问题。