论文部分内容阅读
立体成像技术的迅速发展使得立体视觉信号成为人们生活中重要的多媒体数据,立体成像技术也给人们的日常生活带了巨大的变化。最常见的立体视觉信号是三维(3D)图像,它广泛出现在3D游戏、3D电影等应用中。由于三维图像的观看视角是固定的,即左右视图的视差是固定的,无法给用户提供其他的观看视角。为了满足人们日益增加的视觉体验需求,虚拟视角合成技术应运而生。虚拟视角合成技术可以合成任意视角的图像,给用户提供更好的沉浸式体验。最常用的虚拟视角合成技术是基于深度图绘制技术(Depth Image Based Rendering,DIBR),该技术生成的合成图像和合成视频也成为了立体视觉信号的重要组成部分。自由视点视频是合成视频中的一种,它可以让用户自由地切换观看视角。相对于其他立体视觉信号,自由视点视频与用户有更好的交互性,并逐渐出现在体育、综艺节目等应用中。多媒体立体视觉技术在服务人们日常生活及提升生活质量的同时,也带来了多媒体信息管理的难题。比如,海量的立体视觉信号的质量参差不齐,如何准确地预测立体视觉信号的质量并筛选出低质量立体视觉信号是十分必要的,该操作可以有效地节约存储空间并提高多媒体资源的利用率。另外,随着人们对多媒体立体视觉技术带来的视觉体验要求逐渐增加,如何提升多媒体立体视觉技术成为学术界和工业界追求的目标。立体视觉信号质量评价旨在准确地预测立体视觉信号的质量,是海量立体视觉信号筛选的重要手段。同时,它可为立体视觉信号处理算法优化和立体视觉系统优化提供直接的优化目标。因此,立体视觉信号质量评价在多媒体信息管理中是不可或缺的,具有重要的研究价值和应用价值。本文面向三维图像、合成图像和自由视点视频三种立体视觉信号,开展质量评价研究工作,主要研究内容如下。(1)针对大部分现有三维图像质量评价模型仅考虑高级语义特征融合问题,本文提出融合多层级语义特征的三维图像质量评价模型,它包含一个权值共享的特征提取模块、一个特征融合模块和一个质量回归模块。首先,受多层级视觉感知机制启发,使用一个权值共享的深度卷积神经网络,提取左右视图低级、中级和高级语义特征。其次,考虑到双目视觉特性,构建特征融合模块。该模块先分别融合左右视图的不同层级语义特征,再通过两个卷积操作进一步融合多层级语义特征。最后,构建包含多个全连接网络的质量回归模块,输出三维图像的质量分数。本文在两个常用的三维图像质量评价数据集上进行实验,实验结果表明所提出的模型性能超过了其他对比的模型。(2)针对当前公开的三维图像质量评价数据集规模过小导致模型性能比较可信度不足的问题,本文开展基于弱监督学习的三维图像质量评价研究。首先,构建首个大规模三维图像质量评价数据集,并自动生成三维图像对的相对质量作为粗粒度标签,生成单一视图质量作为伪标签。其次,利用构建的三维图像质量评价数据集,重新训练当前主流的三维图像质量评价模型,以更加公平的方式比较不同的模型,并探索网络框架、输入尺寸和额外的监督信号对模型性能的影响。所有的测试模型均在当前公开的数据集上测试,实验结果证明了本文构建的三维图像数据集的必要性,并获得了关于三维图像质量评价模型多维度的比较。(3)针对DIBR过程引入的非均匀失真难度量问题,本文提出结合局部变化感知和全局自然性建模的合成图像质量评价方法。首先,使用局部高斯导数计算图像的局部泰勒展开,用于表征图像局部结构信息。进一步地,使用局部二值模式表示初始结构特征,并使用局部结构特征幅值对初始结构特征进行加权,得到最终的结构特征。同时,计算图像的色度信息和颜色角度信息。类似地,计算得到颜色特征。结构特征和颜色特征共同用于感知局部变化。其次,使用全局自然性度量全局变化,包括亮度自然性和结构自然性。其中,亮度图通过局部归一化操作获得;结构图通过计算合成图与其低通滤波图的差异图得到。最后,结合局部变化和全局自然性共同度量合成图像质量。实验证明,本文提出的方法能够有效地度量合成图像的质量。并且,通过剥离实验证明了局部感知和全局建模在度量合成图像质量变化上的有效性和互补性。(4)针对当前自由视点视频体验质量评价研究中内容简单、数据量少的问题,开展自由视点视频体验质量评价研究。考虑到应用场景仅有两种(中国男子篮球联赛和综艺节目),本文提出有限场景内的多样化数据收集策略,构建首个大规模自由视点视频体验质量评价数据集。其次,提出从粗至细的两阶段主观数据标注法。第一阶段为挑出“确定的”样本,即受试者对此类样本的评分一致性概率较高,第二阶段则继续为“不确定的”样本打分。通过深入分析主观数据,研究深度信息和人物聚集程度对自由视点视频体验的影响。另外,考虑到模型性能和效率的平衡,设计快速、有效的自由视点视频体验质量预测基准模型。率先探索帧稀疏采样对模型性能的影响,测试多种稀疏采样策略。实验证明,仅使用自由视点视频的部分帧,就可以准确地预测整个自由视点视频的体验质量。