论文部分内容阅读
视频技术的迅速发展,尤其是3D显示技术的应用普及为满足人类的视听感知需求提供了强有力的技术支持。人类的对视觉体验的期待也越来越高,而如何评价立体图像/视频的质量是立体显示领域的一个重要研究课题。本学位论文从人类的视觉感知特征出发,着重考虑人眼的立体感知特性,建立有效、实用的立体视频客观质量评价模型。本课题以立体图像质量评价模型研究为基础提出了一种基于传统立体图像质量评价框架的评价模型。然而,为了进一步建立符合人眼感知的立体图像质量评价模型,研究更多的考虑了人眼的双目融合和双目竞争特性,并提出了另一种更为符合人眼双目感知特性的立体图像质量评价模型。并考虑视频的时域信息冗余,结合视频质量评价中人眼时域感知的特性,建立了基于运动感知的时域质降加权模型。综合双目感知特性的立体图像质量评价模型以及时域质降模型,得到最终的立体视频质量评价模型。(1)对立体图像的研究是立体视频研究的基础,与立体视频相似,立体图像同样涉及到人眼立体感知的过程。通过分析人类视觉系统的多通道视觉感知特性,以及图像的奇异值分解(Singular Value Decomposition,SVD)特性,结合符合人眼感知的信息熵加权,建立了一种立体图像质降参考(Reduced-Reference,RR)质量评价模型。利用左右视点质量与立体深度质量两部分相结合的方案,将原始左右视点图像以及左右视点的绝对差值图进行小波分解处理,并利用SVD求取质降特征,结合信息熵加权,求得立体图像质量。该模型在宁波大学立体图像库中的测试应用结果表现优异,对于库中的五类不同特性的失真类型,尤其是对各失真类型的混合失真都有较好的评价效果,利用该模型得到的客观值与主观值之间相关性高,表明该模型对于立体图像质量的评价十分有效。(2)考虑到人眼对立体图像感知过程中的双目融合和双目竞争特性,建立了一种基于内部生产机制(internal generative mechanism,IGM)的图像分解以及双目融合的立体图像质降参考质量评价模型。首先利用人眼的IGM机制,将立体图像分为双目融合部分和双目竞争部分。其次,根据双目融合部分和双目竞争部分的不同特性,将左右融合部分融合成独眼图,并提取独眼图和双目竞争部分的RR特征,度量双目融合部分质量以及双目竞争质量。最后,加权双目融合部分和双目竞争部分的质量,得到立体图像的客观质量。将该模型在LIVE3D图像库进行实验测试,结果表明,对于各类失真类型,其客观评价结果与立体库主观立体图像质量有很好的相关系数,特别是针对所有失真类型的总体评价结果较好。(3)结合立体图像质量评价模型,考虑到人眼对时域运动感知的特性以及立体视频感知过程中的双目融合和双目竞争特性,建立一种基于时域质降帧提取的立体视频RR质量评价模型。首先分析视频的运动特性,根据不同运动剧烈程度的视频片段,采取不同策略选取质降帧进行后续的质量评价。其次,利用人眼的内部生成机制,结合立体图像模型的双目融合部分和双目竞争部分。然后,根据双目融合部分和双目竞争部分的不同特性,分别提取RR特征,获取双目融合部分和双目竞争部分的质量因子。最后,加权双目融合部分和双目竞争部分的质量,得到立体质降帧的客观质量,并利用时域运动剧烈程度加权质降帧得到最终的立体视频质量。将该模型在NAMA3DS1-COSPAD1高清立体视频库上对H.264视频压缩失真进行实验测试。结果表明,其评价结果与主观立体视频质量相关性较高,线性相关系数CC(Correlation Coefficient)系数指达到了0.9487。