论文部分内容阅读
多视点视频需要在客户端产生多个视点以提供丰富的视觉体验,因此加大了对视频信息的采集,压缩,及传输的要求。仅使用传输各个视点的方法以满足客户端的需求并不现实,因此需要虚拟视点绘制技术,传输少量视点视频,在客户端绘制出多个视点。绘制的虚拟视点质量的好坏决定了多视点视频系统的好坏,因此虚拟视点绘制技术是多视点视频中较为关键的技术之一。目前应用较为广泛的是基于深度图的虚拟视点绘制技术,其包含3D-warping,空洞填补,图像融合等过程。本文主要针对这三个过程,分析虚拟视点绘制软件(VSRS,View Synthesis Reference Software)中的不足,并提出了相应的改进算法。(1)VSRS在融合过程中仅使用同一个加权值,并不能使虚拟视点质量达到最佳。提出了一个基于机器学习的图像融合方法,根据绘制过程中获得的特征值与标签训练建立的分类器模型,得到不同位置上的像素点的加权值。实验结果表明该方法能够提高客观质量,最高能提高0.17dB,对相机距离较大的情况,客观质量的提高较大,并且主观质量也有所改善。(2)由于深度信息的不准确,在3D-warping过程中会因为深度失真而产生错误的映射,从而造成虚拟视点的失真。对于该问题,提出了一个先进的3D-warping方法。每次将两个点映射到虚拟视点上,然后选取两个映射点中间的整像素点,根据提出的线性移不变插值方法,插值获得选取的整像素点。实验结果表明,虚拟视点客观质量最高能提高0.94dB,主观质量得到较大的改善。(3)在虚拟视点绘制过程中,如果深度信息不准确,会造成空洞的偏移。空洞的偏移造成空洞边缘区域像素映射的不准确。本文提出了一个考虑到空洞周围信息的空洞填补算法。根据空洞周围区域彩色与深度信息来扩大空洞,最终使用另一个参考视点绘制的虚拟视点来填补,以修正这些区域。实验结果表明,虽然在客观质量上提高的不明显,但是对于一些序列主观质量有所改善。由于VSRS对于小空洞的填补使用的滤波方式较为简单,在一些区域使得虚拟视点主观质量大幅下降。因此提出了一种改进的小空洞滤波方法。使用空洞周围的信息逐步填充并缩小空洞,最终填补空洞。实验结果表明,提出的方法能够较好地填补小空洞,提高客观质量,并且主观上能够改善VSRS方法绘制时产生的毛刺。