论文部分内容阅读
随着国内外3D电视频道的播出,立体视频已逐步进入普通用户的家庭。提供给人们立体感的视频包括两种,一种是由两个视点融合而成的双视点立体视频,这种技术是目前3D频道所使用的,对应的显示设备一般要佩戴立体眼镜;另一种是由2个以上视点组成的多视点视频,这种技术可为用户提供多个角度的立体场景且对应的显示设备常常是不需观看者佩戴立体眼镜的裸眼观看方式。立体视频处理从采集到用户端显示要经历3D内容获取、预处理、编码、传输、解码/视合成和显示六个阶段,每一个处理阶段都会产生相应的失真,影响视频的质量,尤其是减少数据量的压缩编码阶段,因此评价立体视频的质量非常重要。然而立体视频不同于一般的2D视频,普通的2D视频评价方法不能直接用于立体视频的质量评价,因此,评价立体视频的质量成为立体视频发展过程中一个十分重要又亟待解决的问题。现有的立体视频客观质量评价方法虽然不如主观方法那样需要特殊的环境和设备,且费时较多、不能立刻给出评价结果,但与主观评价结果的吻合度不好,且不能很好地反映人眼的视觉特性。本文对立体视频客观质量评价方法及其关键技术进行了深入研究,主要贡献及创新点包括以下几个方面:1)利用立体视频的特性,对传统的JND模型加以改进,建立双目最小可辨失真模型,获得可用于评价立体视频质量的表示式BPSPNR。实验证明,与常用的PSNR和PSPNR相比,BPSPNR在主客观评分的相关性和数据样本的分散度上,更接近于人的视觉感知。2)提出了三种全参考评价方法。(1)对于多视点视频,根据2D视频与多视点视频之间的相关性,将2D评价方法与视间差值图相结合建立了全参考客观评价模型,将其用于分析PSNR、SSIM、VQM三种评价表示式的多视点视频各路视频的质量。实验表明SSIM最适于视频质量的评价,PSNR最适于立体感知质量的评价,而VQM不适于立体感知质量的评价。(2)对于双路图像合成的立体图像,根据人类视觉更关注立体图像深度感和感兴趣区域的特点,提出基于纹理图和深度图感兴趣区域的质量评价方法。对纹理图和对应的深度图利用视觉关注度提取工具提取感兴趣区,并根据各感兴趣区的感知程度分配权重系数。实验表明,该评价方法与人类视觉感知有较好的一致性。(3)对于视点合成算法合成的虚拟视点,提出一种基于边缘差异的虚拟视图像质量评价方法。在分析失真虚拟视与原始视像素差异基础上,对各差异像素进行分类,在分配权重时,对边缘像素施加较高权重。该方法相比于其它评价方法,能更好地预测人类视觉对虚拟视图像的主观感知。3)对基于MVD所生成的虚拟视,提出一种在缺少参考视点情况下的无参考质量评价方法。该方法通过计算用以生成虚拟视的纹理图和深度图边缘的结构相似度、结合虚拟视的边缘块失真来评价虚拟视的质量,实验证明该方法能够反映虚拟视图像的质量。4)针对人眼视觉对空间时间深度变化的灵敏度特性,研究人眼对深度细节感知的最小可察觉差值,通过大量的主观实验进行推理和分析得到刚可察觉深度差异模型(JNDD),并将此模型应用到深度图的优化处理中。提出的基于JNDD模型的深度图三边滤波算法在降低深度编码码率的情况下,可使合成虚拟视图像中物体的边缘更加平滑,证明了所建立的JNDD模型的合理性。