随着信息技术和计算机技术的迅猛发展,人们已经不满足于二维视频带来的视觉体验。三维视频和自由视点电视(3DVideo/Free-viewpointTV,3DV/FTV)作为新一代数字视频技术,因其能够提供更广的观看自由度、沉浸式的视觉效果以及灵活的交互功能,而受到工业界和学术界的广泛关注。然而,三维视频观看自由度和沉浸感的提升是以庞大的视频数据为代价,这给视频的采集、存储和传输都带来了严峻的挑战。基于“多视点+深度图”(Multiview Video plus Depth,MVD)的格式被MPEG国际标准化组织确立为当前三维视频的主流表示方法。基于深度图绘制(Depth-Image-B ased Rendering,DIBR)的虚拟视点合成技术在有效降低三维视频数据量的同时,还能满足用户的立体视觉体验需求。显然,虚拟视点的合成质量直接影响了用户的立体视觉体验。然而,受到目前深度相机性能和传输带宽的限制,深度图存在着与其纹理图的分辨率不匹配问题;此外,由于深度图在采集、编解码和传输过程中易受到噪声的影响,不可避免地导致其质量下降。因而,这些问题严重地影响了虚拟视点的合成质量,也降低了用户的视觉体验效果。为此,开展三维虚拟视点合成质量的增强研究具有重要的理论意义和实用价值。本论文围绕影响三维虚拟视点合成质量的两个主要因素:深度图分辨率提升与虚拟视点的空洞填补开展工作,主要创新性研究成果包括:·提出了一种基于分形变换的深度图分辨率增强算法。受限于信道传输带宽和深度相机的采集性能,所采集的深度图分辨率往往低于纹理图。本文基于分形理论,通过分形变换提取刻画深度图自相似性的分形参数,形成分辨率无关的深度图表征,并利用不动点迭代系统重建出多个分辨率的深度图。在此基础上,通过引入低分辨率深度图的重构残差实现多分辨率的深度图融合,从而获得了高质量的上采样图像。实验结果表明,与传统插值方法相比,在放大2倍时,该算法所生成的虚拟视点的质量可以提升0.6 dB左右,放大8倍时,所合成的虚拟视点质量可达6%的增益;·提出了一种结构保持的深度图分辨率增强算法。基于梯度场局部分形分析的方法,可有效避免分辨率增强过程中深度图边缘退化的问题。在此基础上,考虑到多视点视频中深度图与其相应的纹理图的轮廓信息之间的对应关系,通过引入纹理图-深度图边缘一致性的约束,实现了结构保持的深度图分辨率增强。此外,从理论上分析了所提算法的运算复杂度。实验结果表明,深度图和虚拟视点分别获得了 0.25-1.46 dB和0.21-0.80 dB的质量提升,相应的主观质量也证明了算法的有效性;·提出了一种基于生成对抗网络的空洞填补方法。深度信息的不连续,使得虚拟视点图像的目标边缘出现了空洞区域。为此,在边缘采样的基础上,利用深度卷积生成对抗网络学习低维隐空间到真实样本空间的映射。进一步,通过引入对抗损失、上下文损失以及深度损失,来分别约束生成图像的真实性、非空洞区域的一致性以及局部纹理的连续性;由此,获得相应空洞在隐空间的最优因子表示,从而生成真实、高质的虚拟视点图像。实验结果表明该方法能够有效地填补空洞区域,并取得良好的视觉效果。