论文部分内容阅读
近年来,3D电影因其逼真的立体效果吸引了无数的粉丝。但是传统的3D视频(3D video)制作方法成本高、耗时长,限制了3D电影的普及。而基于深度图像绘制(depth-image-based rendering,DIBR)的方法可以低成本、快速地得到3D视频,因而被视为可以用来取代传统的3D视频制作的首选方法。但是,通过该方法合成的虚拟视图(virtual view)中有大量的空洞。空洞现象严重影响了合成视图(synthesized view)的质量,甚至会引发观众的视觉疲劳(visual fatigue)。高质量地填充空洞是DIBR技术中亟待解决的关键问题。本文的研究目的是高质量地填充DIBR系统合成视图中的空洞,促进DIBR技术在3D视频制作中的应用。论文针对两路“参考图像+深度图”(“reference image+depth map”)的情况,研究了空洞产生的机理,提出了一种修正的不产生空洞的摄像机设置方法。针对一路“参考图像+深度图”的情况,分析了空洞边缘前景和背景像素的特点,提出了一种基于超像素(superpixel)的空洞填充(hole-filling)算法;为了克服基于超像素的空洞填充(hole-filling)算法的缺陷,给出了改进的基于图像修复(image inpainting)的空洞填充算法。论文主要包含以下研究成果:(1)在双向DIBR技术(double-sided DIBR technique)的基础上,提出了一种修正的不产生空洞的摄像机设置方法。论文通过分析两种场景中空洞产生的机理,得出如下结论:在“背景-前景-背景”的场景中,不管摄像机参数如何设置,最终得到的虚拟视图均不含空洞;在“前景-背景-前景”的场景中,通过设置摄像机基线长度可以让最终得到的虚拟视图不含空洞。下一步的研究重点是推导出在非平行摄像机设置下不产生空洞的摄像机设置方法。(2)由于空洞需要用背景像素去填充,本论文提出了一种基于超像素的空洞填充算法。该算法首先利用SLIC超像素(SLIC-superpixel)算法分割虚拟视图,然后提取虚拟视图的单边边缘,并进行优先级计算,最后用分割得到的超像素作为最高优先级块的匹配块(matching patch)去填充空洞。实验结果显示该方法能够准确的区分前景和背景,同时对于纹理结构简单的图像能够取得很好的填充结果,但是对于两边都是前景的空洞,该算法会产生伪像(artifacts)。(3)针对基于超像素的空洞填充算法的缺陷,本论文提出了一种改进的基于图像修复的空洞填充算法。该算法首先采用基于视差图(disparity map)的空洞填充算法来填充空洞两边都是前景的空洞,然后采用改进的基于图像修复的空洞填充算法来填充剩余的空洞,其步骤为:首先设置标签来标记图像边缘空洞的位置,并提取出空洞的单边边缘,然后采用改进的优先级计算方法来计算空洞边缘的优先级,最后利用“夹逼(squeeze)”的方法来确定匹配块的搜索范围。实验结果表明该算法能够用来填充空洞两边都是前景的空洞以及不同零视差设置(zero-parallax setting,ZPS)平面下的边缘空洞,同时能够很好的恢复图像的纹理结构,在时间复杂度上也具有一定的优势。本论文针对各种应用场景中DIBR系统的空洞填充提出了不同的方法。研究成果将为DIBR技术在3D视频制作中的应用提供具有实用价值的新方法。