人们对视频观看体验的不断追求,使近年来生活中出现了各种新型的视频应用,进而催生了计算机网络技术和音视频技术的不断发展。自由视点视频系统(FVV,Free Viewpoint Video)允许用户自由选择观看视点,带来前所未有的沉浸式互动观看体验。但是该系统需要的数据量也相当巨大,对采集、编码、传输、解码、绘制、显示等各个流程均提出了更高的要求。因此FVV采用基于深度图的绘制方法(DIBR,Depth Image Based Rendering),通过在编码端采集的有限数量参考视点,在解码端绘制任意位置的虚拟视点,极大地降低了FVV传输的数据量。DIBR的核心是利用深度信息来还原拍摄场景的三维空间,进而实现视点映射。本文以提高虚拟视点三维感知质量为主要目的,研究了基于三维感知的立体虚拟视点质量评价方法和基于深度背景建模的虚拟视点空洞填补算法。(1)立体虚拟视点主要包含两大失真类型:单视点绘制失真和立体视点不匹配失真。针对单视点绘制失真,首先提取当前视点失真图与参考图的差异区域,再针对该差异区域计算平均结构相似度指数(SSIM,Structure Similarity),最后将左右视点指数平均池化作为单目纹理特征值;针对立体视点不匹配失真,首先对左右视点失真图分别进行视差映射,再提取映射图与当前视点失真图的差异区域作为双目不匹配区域,然后针对该不匹配区域计算SSIM指数,最后将左右视点指数平均池化作为双目竞争特征值;将两个特征值进行幂次融合,作为立体虚拟视点图像质量评价的客观指标。实验结果表明本方法有效匹配主观平均打分值,皮尔森线性相关系数和斯皮尔曼秩相关系数分别为0.911和0.900,正确反映了立体虚拟视点图像质量。(2)空洞填补是自由视点视频绘制过程中的关键问题。空洞大多位于视觉显著区域,错误地填补将极大降低虚拟视点的主观感知质量。本文提出了一种利用深度背景建模的自由视点视频空洞填补算法。首先对空洞的成因进行深入分析,将空洞划分为暴露区域空洞、结构性空洞和裂纹三种;然后根据深度像素的时域直方图统计特征,构建深度背景模型,分离运动前景和时域稳定的背景,得到深度背景图,并依此构建纹理背景图;接着结合深度信息,将映射到虚拟视点的纹理背景图和当前帧的纹理图进行融合,填补影响主观感知最严重的暴露区域空洞;最后,提出了一种基于深度的图像修复方法来填充剩余的结构性空洞与裂纹。实验结果表明,本文方法有效填补了虚拟视点中的空洞,在绘制质量和时域连续性方面均优于核心对比文献。