论文部分内容阅读
随着以计算机和互联网为核心的信息技术的长足发展,视频的获取、处理和传输方式逐渐实现了数字化,促进了视频内容的极大丰富。当前,数字视频技术继续朝两个方向发展:一方面是视频在日常生活中的渗透程度不断提升,数字视频开始变得无处不在,进入了“多屏合一”、“多屏互动”的时代。另一方面,从彩色电视到高清电视,到正在发展的3D影视、4K电视,视频与现实世界的逼真程度、图像的尺寸和清晰度,都在不断提升,给观众带来了更好的收视体验。 要实现无处不在的高收视体验的数字视频,需要一整套技术体系和完整的产业链进行支撑。在数字视频的采集、处理、压缩、传输、显示等各个环节中,都可能会因为各种因素导致视频失真,使得图像质量和收视体验下降。因此,研究各种视频失真的现象、成因、质量评价方法,是视频领域的重要研究方向。视频质量的评价技术就是为了有效对各类失真进行量化的评估的方法。它对于提高视频相关的服务的质量以及最终用户的体验有着重要作用。尤其是在3D视频方面,现有的立体影视节目的质量参差不齐,部分节目容易引起视觉疲劳,影响了观众的收视健康,成为阻碍立体影视普及的重要原因。因此,发展各种视频质量检测和评价技术,对节目内容,尤其是3D视频内容进行严格把关,具有重要的现实意义。 本文研究了常见的视频失真以及视频质量评价方法的基本情况,重点对3D视频技术、3D视频失真和质量检测进行了深入研究。在视频内容从拍摄、制作、编码、传输、解码、到终端显示的多个环节中,当前对视频质量评价的研究大部分集中在视频编解码和传输等中后期环节,缺乏对视频内容生产的前期,在拍摄制作等过程中引入的各种失真的研究。而电视台等影视节目制作单位作为视频内容生产的主要来源,对于视频质量有着严格的要求。在视频实现数字化和文件化以后,传统的基于模拟信号的质量检测和评价方法已经不能适应新技术的发展,迫切需要各种方法对节目生产流程中发生的各种失真进行检测和评价,以便对质量进行有效控制,持续生产出高质量的视频内容。 针对以上需求,本文的工作围绕电视台内容生产制作环节中出现的失真进行了研究。视频马赛克是数字化以后带来新的失真类型,在电视台目前的工作流程中主要靠人工审核进行检测,效率低下。另一种新的失真类型是3D视频失真,尤其是在内容拍摄制作过程中,由于镜头的校正和调整非常复杂,往往容易出现各种镜头失真,影响立体感知的生成,造成视觉的疲劳。本文的工作主要集中在数字视频的马赛克检测和3D视频镜头失真的检测和质量评价方面。 在研究方法上,为了便于在电视台的系统中进行实际应用,算法设计在保证有效性的前提下尽可能考虑降低计算复杂度,提高效率。主要采用的是特征统计的方法,即基于不同的失真类型抽取图像内容中的各种特征,然后使用统计方法对特征数据进行筛选和处理,最后从统计结果中根据适当的模型获取失真的量化指标。本文的主要创新点包括如下几个方面: (1)提出了一种空域内基于块边界的2D视频马赛克检测方法。 该算法针对马赛克块与周边图像块之间存在明显差异的特性,计算了相邻宏块在空域的特征值的差异,包括亮度均值、亮度方差、色度方差等指标,差异超过一定阈值的宏块被标记为候选马赛克块。然后统计候选马赛克块的数量,如果超过一定的阈值和筛选条件,该帧就被标记为马赛克帧。在实验中分别计算了该算法的漏检率和错检率,并与其他三种马赛克检测算法进行了对比。结果表明,这种算法在性能和有效性上有明显优势。 (2)提出了一种分立的3D视频镜头失真检测算法并进行了主客观质量分析。 该算法能够有效找出存在镜头误差的视频片段并给出误差的度量方法。当前主要的立体节目都是通过双摄像机镜头拍摄而来。在拍摄过程中,由于镜头配置、安装、调整等方面的精度不够,往往不能做到两个镜头完全一致,导致拍摄的左右眼图像存在高度误差、旋转误差、尺寸误差等几何误差以及色彩误差,从而影响了3D视频感知质量。本文对高度误差和尺寸误差的检测采用了SIFT(Scale-Invariant Feature Transform)算法来计算左右视图的特征值,然后进行立体匹配,得到一系列匹配的特征点对。通过对它们的坐标进行分析和统计计算,得到高度误差和尺寸误差值。对于旋转误差,采用的方法是将左视图图像按不同角度进行旋转,与右视图进行进行比对,寻找差异的极小值,作为旋转角度的估计值。色彩误差计算则分别计算了左右视图的(R,G,B)值的总和的差异。采用以上方法,本文对收录的约350小时的中国3D电视试验频道中播出的实际3D电视节目进行了实验分析,检测到了节目中存在镜头误差的视频图像,同时与主观质量评价值进行了对比分析。 (3)提出了一种综合的3D视频镜头失真检测和质量评价方法并对常见3D视频数据库进行了质量分析。 由于高度误差、旋转误差和尺寸误差等镜头误差是相互关联的,影响了(2)中提出的分立算法的准确度。本方法首先分析了左右视图匹配的像素点对的图像坐标与镜头高度、旋转和尺寸误差大小的关系,并给出了统一的计算公式。然后给出了一个分步的算法,针对每帧图像,通过每个匹配点对的图像坐标来计算相应的镜头误差参数。最后用直方图统计的方法从所有的匹配点对的镜头误差参数中选择极值,作为整帧图像的镜头误差参数。对于色彩误差的检测,则分别用左右视图的亮度、饱和度和色调的差异进行衡量。在实验中,本文设计了相应方法验证了该算法的正确性,并应用于中国3D试验频道收录的节目,进行客观质量评价计算和分析。为了分析镜头误差对节目主观体验的影响程度,本文把存在镜头误差的视频片段和正常视频片段混合在一起,分成若干组,进行了相应的主观质量评价实验,并对实验结果进行了分析。最后,该算法被进一步用于当前常见的三个公开的3D视频数据库(EPFL,3DHF, Mobile3DTV),分析了它们相应的误差分布情况,可以作为今后研究的参考。