论文部分内容阅读
近年来,由于人们对逼真的视觉体验需求逐渐增强,3D电视技术的发展十分迅速。由不同视角的多台摄像机捕获同一个场景所产生的多视点视频,可以给用户带来更生动的视觉体验。然而,随着摄像机数量的增多,立体视频的存储空间和传输带宽会成倍的增加。因此,在视频处理领域如何进行有效的立体视频压缩尤为重要。由于通常情况下视频信号的最终接收者是人类视觉系统(HVS),所以由人类视觉感知因子和视频编码的融合形成的感知立体视频编码受到了极大的关注。在本文中,通过对H.264和多视点视频编码(MVC)的深入研究,描述了多种恰可察觉误差模型(JND)的建模和估计算法,并且将此类模型应用于图像、视频编码,剖析了各自的优点和对应的缺点。通过视差与人类视觉敏感度的关系首先提出了一个改进的基于视差的恰可察觉误差模型的估计算法;其次,提出了一个基于人类色度感知的色度域JND模型;然后,考虑到深度注意模糊理论(DOF)与人类视觉的特性,优化了基于视差的JND模型;最后,将这些模型用于立体视频编码,不仅有效的压缩了码率并且改善了图片、视频的感知质量。本文深入讨论了JND模型的算法改进以及与视频编码的结合,主要从以下几个方面开展了工作:1.提出了一个基于视差的JND模型。基于图像分割的立体匹配得到边缘更加准确的视差信息,利用视差和人类视觉敏感度改进了传统的时间和空间JND模型,并用于立体视频编码。实验结果证明,改善后的方法有效的减少了双目立体视频的视间冗余,并降低了码率。2.提出了一个基于人类色度感知的色度域JND模型。根据视锥细胞在视网膜上的分布,利用高斯分布来建模,并且应用到MVC编码中。实验结果显示,本方法在保证了色度感知质量的前提下成功的消除了色度冗余,节省了码率。3.通过深度模糊理论和JND的结合,提出了一个基于DOF的JND模型。利用视差信息将前景和背景有效的分离,分别对不同区域使用不同的量化参数,并且对亮度JND模型加入了高斯滤波器实现DOF效应,有效的将需要模糊化的背景区域的码率分配给了需要提高质量的前景区域。实验结果表明,该方法大幅度的消除了背景区域的冗余,节省了码率,并且提高了前景区域的质量,改善了视觉舒适度。