论文部分内容阅读
近几十年来,视频成像技术经历了黑白、彩色、数字、立体的快速发展过程。电影《阿凡达》的热映,拉开了立体视频的应用热潮。与传统的2D视频相比,立体视频可以产生空间立体感,提供更加身临其境的观看感受,因而受到了广大用户和商家的青睐。然而,立体视频的处理过程可能引入不同种类、不同程度的失真,导致视频质量下降。由于立体视频比2D视频包含更多的信息,并且人眼视觉系统的观看机制更加复杂,因而立体视频质量评价无法采用较成熟的传统2D视频质量评价方法,需要提出新的针对立体视频的质量评价方法。由于视频系统以人的视觉系统作为最后终端,所以人自身对视频质量的主观打分是最准确的。但这种方法耗费巨大的人力物力,并且无法满足实时应用的需求,因而无法在工程中使用。客观评价方法采用可定量计算的数学模型来预测人眼对视频质量的主观感受,是研究人员关注的问题。客观评价方法可按参考源的可用性分为全参考评价、部分参考评价和无参考评价三种。其中,全参考评价将完整的无失真参考源作为参照,来预测待评价的失真视频质量,是目前研究较多的质量评价方法。本文针对立体视频质量评价问题,提出了一种基于时空结构信息的全参考评价方法,并对该方法的性能进行测试。本文利用视频质量评价方法对几种编码标准和采用的关键技术的视觉质量进行了分析和比较。此外,开发了两款视频质量评价工具。具体的工作内容如下:第一,本文提出基于时空结构信息的立体视频质量评价模型。该算法可计算双视图格式的立体视频质量,是一种全参考评价方法。在人眼视觉系统中,视觉融合机制使左视图和右视图最终合成为一个完整的立体场景,而不是完全相互独立的两幅图像。本算法依据这种现象,建立一种联合描述子,不但包含了局部的时间空间特征,还考虑了视点之间的关系,来联合地描述左视图和右视图的特征,并预测立体视频的质量。首先根据三维Sobel滤波的结果,选择出视觉显著点。然后,对视觉显著点的局部三维结构张量进行特征分解,得到局部像素的特征值和特征向量。再将左视图的像素和右视图中的匹配像素组成像素对,建立特征值和特征向量的联合描述子。最后,计算参考视频和失真视频的联合描述子相似性,作为立体视频的局部3D质量。本文建立了H.264编码失真视频和GaussBlur非编码失真视频两个数据集,并用该算法计算客观质量值。经过实验,本算法与主观打分之间具有较高的致性。第二,本文设计实验,利用视频质量评价方法对几种编码标准和关键技术的视觉效果进行了分析和比较。首先,用PSNR、SSIM和基于时空结构信息的视频评价模型分别计算HEVC编码后视频以及H.264编码视频的质量,得到HEVC编码标准的性能提升程度。然后,依次对HEVC编码标准中的几种关键技术设计开关实验,从主观、客观、以及主客观差异三个角度分析每一种技术对视觉质量提升的贡献。第三,本文开发了一个基于配对比较法的2D视频主观评价的工具。传统的五分制评分体系各个等级之间界限并不明显,使观察者不易确定一段视频的确切等级,评价结果并非十分可靠。配对比较法让观察者判断两段视频的质量好坏,降低了观察者的决策复杂度,消除了评价时的不确定性。本文开发的工具可以辅助研究者开展基于配对比较法的视频质量主观评分实验。首先,将待评价的失真视频按照参考源内容两两组合。然后依次播放同一组中的两段视频。播放结束后,提示观察者选择出质量较好的一段视频,并自动记录下观察者的选择。第四,本文实现了一个AVS码流分析工具,并集成了视频质量评价功能。该系统针对移动档次编码的应用需求,可对AVS编码后生成的码流进行结构分析,提取并显示序列级、帧级、宏块级三个不同层次的具体编码参数,以及测算帧组(GOP, Group of Pictures)的客观质量值。其内部算法包括三种全参考评价模型和一种无参考评价模型。此外,本系统可计算YUV格式的2D视频或立体视频的多种客观质量值,并以图像和曲线的形式呈现出来,方便用户直观地了解视频的整体质量和局部质量。