论文部分内容阅读
随着相关技术及软硬件的发展,虚拟现实逐渐成为重要的多媒体应用形式,越来越多地出现在人们的日常生活中。作为虚拟现实的主要媒体形式之一,全景视频通过对场景的多角度拍摄和拼接,形成360度×180度的视频场景,通过头戴式显示设备将其投影至以用户为中心的虚拟球面空间,为用户提供仿若置身其中的沉浸感。然而,人眼的分辨能力极高,要实现尽可能真实的观看体验,对全景视频分辨率的要求很高,因此,全景视频的数据量往往较大,这对数据的存储和传输带来了极大的挑战。为在有限的资源和海量的全景视频数量间取得平衡,保证用户体验,面向全景视频的质量评价研究至关重要,可为诸如视频压缩、网络传输、视频后处理等各类任务提供质量上的指导,在提升算法性能的同时保证视频质量。目前,全景视频的处理依然依靠平面视频的方法框架,需先将球面视频依照某种投影关系映射至平面,再进行编码、传输等相关处理。而在质量评价任务中,由于视频最终仍将重投影至球面空间进行观看,传统平面视频的评价方法无法适用于全景视频,难以获得能够反映真实场景下视觉质量的评价结果。考虑以上所述问题,本文面向全景视频,开展主客观质量评价研究。首先,基于全景视频特性研究主观质量评价方法。考虑全景视频在观看中的特点,基于传统视频主观质量评价方法,设计了适用于全景视频的主观质量评价方法。此外,在主观质量评价中,测试视频的呈现方式十分重要,避免在视频播放时引入额外的质量变化是获得可靠的主观质量评价结果的首要前提。然而,一方面,头戴式设备固定的屏幕分辨率导致不同分辨率视频播放时产生采样;另一方面,全景视频的处理和播放分别在平面和球面进行,投影映射中的形变不可避免。为研究如何最大程度减轻采样与投影映射对主观质量评价带来的影响,本文建立虚拟球面与人眼、屏幕平面间的几何关系,提出全景视频主观质量评价视频分辨率最优化方法,最小化投影映射带来的额外质量变化,从而获得更加可靠的主观质量评价结果。其次,基于优化的主观质量评价方法建立面向压缩损伤的全景视频主观质量评价数据库,并将其应用于全景视频全参考客观质量评价方法的验证。在编码压缩等相关技术的研究中,为在提升压缩效率的同时获得尽可能好的视觉质量,主客观质量评价是不可或缺的步骤。考虑全景视频观看方式的独特性,传统视频的主观质量评价数据无法应用于全景视频的客观模型及处理技术等的验证。因此,本文基于优化的主观质量评价方法,设计全景视频主观质量评价实验方案,开展主观质量评价实验,建立面向压缩应用的全景视频主观质量评价数据库IVQ(Immersive video quality database)。对数据库的数据分布及被试人员行为的分析表明该数据库具备一定的代表性与可靠性,可有效地服务于全景视频客观质量评价方法研究。基于IVQ数据库,对目前常用的全景视频客观质量评价方法及经典的传统视频质量评价方法进行了性能验证与分析。结果表明,目前全景视频的客观质量评价方法性能虽已有了一定的改进,但与主观质量的相关性仍相对较低,仍然是十分值得深入研究的课题。最后,针对全景视频通过球面观看的特性,设计全景视频无参考客观质量评价方法。不同于传统平面视频,经过处理的全景视频投影平面需投影至球面进行观看,而投影平面与球面间存在着一定的拉伸和形变,因此,投影平面的视觉质量不能等同于全景视频真实的视觉质量。本文针对这一问题,提出基于球面特征的全景视频无参考客观质量评价方法。质量评价过程中,在球面空间进行特征提取,从而获得能够反映全景视频球面观看中的视觉质量的视频特征,并利用多核学习方法对视频特征进行融合,得到质量评价分值。本文在IVQ数据库上进行了实验验证,并与常用质量评价模型进行了性能对比。实验结果表明,本文所设计的方法与主观质量的相关性高于直接使用传统视频无参考质量评价方法所得结果,同时,与全参考视频质量评价方法相比仍有一定差距,这也表明面向全景视频的无参考客观质量评价方法仍然值得进一步的研究。