论文部分内容阅读
基于深度图的虚拟视点绘制技术(Depth Image Based Rendering,DIBR)是自由视点视频(Free View Video,FVV)系统中的一项关键技术。该技术主要是用于在客户端生成任意位置的虚拟视点，由于它具有节省传输带宽资源和改善立体视觉效果等优点而备受用户的青睐。然而，目前该技术还存在诸多不足之处，所绘制的虚拟视点的质量和速度还有待提高。本文主要针对虚拟视点绘制标准方案中的三维变换(3D-Warping)、像素插值和图像融合这三个环节中所存在的问题，提出了相应的改进算法。 针对虚拟视点绘制标准方案中的3D-Warping环节速度过慢的问题，本文提出了一种基于快速3D-Warping的绘制算法。它旨在确保绘制质量的同时，尽可能地提高绘制速度，主要在以下三个方面进行了改进：第一，引入了深度—视差映射表技术，节省了视差求取所耗费的时间；第二，对深度平坦的像素块进行基于块的3D-Warping，减少了映射的次数；第三，提出了一种新的像素插值技术，提高了像素插值的精度。实验结果表明，本文算法不但能提高绘制的速度，而且可以改善绘制的客观质量。绘制的平均时间节省了72.05％；绘制的客观指标PSNR平均提高了0.36dB，SSIM平均提高了0.0012。 针对虚拟视点绘制标准方案中像素插值的准确性不高的问题，本文提出了一种改进的绘制算法。该算法按照投影像素点的个数进行了分类，对不同的情形采取了相应的像素插值策略。基于空间加权的像素插值是本算法的关键，它充分地考虑到了待插值像素点周围足够多的投影像素点，计算每个投影像素点的空间权值，并按照各自的权值对这些投影像素点的像素值进行加权平均，将最终的加权平均值作为待插值像素点的像素值。为了抑制由于深度失真所引起的绘制失真，本文在左、右参考虚拟视点融合之后，引入了失真检测与矫正环节。实验结果表明，该算法可以有效地抑制像素插值过程引入的噪声，提高了像素插值的精度。与标准方案的半像素精度相比，本算法的绘制虚拟视点的PSNR平均提高了0.30dB，SSIM平均提高了0.0013。 针对虚拟视点绘制标准方案中由于视点间的光照差异所导致的绘制失真问题，本文提出了一种基于直方图匹配的图像融合算法。该算法主要是采用了直方图匹配算法来对参考虚拟视点中的公共区域进行失真补偿的。为了达到比较理想的匹配效果，本文还提出了空洞填补和伪影消除算法，对空洞区域及其背景边界进行了处理。实验结果表明，改进的空洞填补和伪影消除算法以及基于直方图匹配的光照补偿算法均提高了虚拟视点的质量，其中基于直方图匹配的光照补偿算法起到了主要作用。在标准方案的基础上，基于直方图匹配的光照补偿算法能够提高平均PSNR0.20～0.50dB。