论文部分内容阅读
随着数字多媒体处理技术的快速发展以及人们对于真实视觉体验的需求日益增长,继高清数字电视之后,三维电视（Three Dimensional Television,3DTV）迅速成为业界关注的热点。与以往同步输入双目视频的立体电视系统不同,现代的3DTV系统同时输入两种类型的数据格式,即源自同一个场景的二维（Two Dimensional Television,2D）彩色视频和2D深度数据,然后利用基于深度图像渲染（Depth Image Based Rendering,DIBR）技术产生左右视点的虚拟视图,最终借助立体显示技术为用户呈现出沉浸式的三维（Three Dimensional Television,3D）视感。其中,深度数据代表场景的3D位置信息。显然,独特的2D彩色视频加深度数据是现代3DTV系统的重要基础,而如何获取高质量的深度数据则是业界的研究焦点。目前,深度数据的获取方法有直接和间接两种形式。直接方法是采用基于飞行时间（Time Of Flight,TOF）深度测量方法的深度摄像机直接获取场景的深度信息。通常,TOF技术可以同时采集得到场景的彩色视频和深度视频,但两者存在分辨率不一致的物理性差别,在实际应用中需要提升采集到的深度数据分辨率。为填补稀缺的3D视频资源,人们研究将现有丰富的2D视频数据转换为3D视频资源,由于人工直接转换方式需要耗费大量的人力及时间成本,因此利用场景中所存在的深度因素技术间接生成场景的深度图。无论哪种方法,深度上采样和深度生成技术是获取高分辨率（High Resolution,HR）深度图的研究基础,这也是企业界和学术界的研究重点。针对3DTV系统中获取HR深度图中存在的上述问题,本论文着重研究了3DTV系统中HR深度获取技术,即深度上采样和深度生成技术。利用TOF技术可以额外获得场景的HR彩色图像的特点,本文针对联合双边带上采样算法（Joint Bliateral Upsampling,JBU）存在的深度边缘区域锯齿模糊问题,通过分析场景中的像点属性,提出改善JBU的基于像点分类和联合双边带的深度上采样方法。通过深入分析彩色图像的边缘和深度图的深度不连续之间的相关性,提出了判断两者的一致性准则,并据此优化传统插值算法以获取高质量的HR深度图。由于彩色图像中包含众多的深度因素,且大多数室外场景都具有相似几何结构的深度图,本文基于室外场景图像的几何结构属性提出图像几何复杂度度量公式,实现了图像的几何分割,并据此获得输入图像的深度图。此外,本文提出创建多种场景的彩色图像加深度图的数据库,利用图像之间的几何结构相似性并结合场景中对象深度特征获得待定输入图像的深度图。本论文完成的主要工作有:1.基于像点分类和联合双边带的深度上采样JBU利用场景HR彩色图像辅助低分辨率（Low Resolution,LR）深度图生成HR深度图,由于分辨率的差异引入了深度边缘区域的锯齿模糊现象。因此,本文通过分析HR空间中像点边缘特征提出优化算法。首先,利用JBU产生初始HR深度图;其次,通过HR彩色图像和LR深度图生成两种HR边缘图,并据此将HR空间中像点分成四类:边缘点、边缘邻域点、纹理点和平滑点;最后,针对不同像点集合使用不同的优化准则改善初始上采样深度图,以获得高质量的HR深度图输出。实验结果表明,该算法能有效提升最终的HR深度图质量,同时降低深度不连续区域的模糊性。2.边缘与梯度辅助的深度上采样由于TOF等深度摄像机同时获得场景的HR彩色图像和LR深度图,通过深入研究彩色图像中的颜色边缘与深度图中的深度不连续区域相关性,本文提出基于边缘与梯度信息辅助的深度上采样方法。首先,采用传统双线性插值算法获得初始深度图;其次,综合分析HR深度边缘图和HR彩色图像的梯度信息,提出了彩色图像的边缘区域和深度图的深度不连续区域一致性判断准则,并确定了更为精准的HR深度边缘点;最后,利用深度分配策略并结合最小值滤波器,通过改善初始深度图以生成HR深度输出。实验表明,该方法可以有效降低深度图的坏点率。3.基于几何复杂度的图像分割深度生成由于大多数室外场景都具有相似几何结构以及众多的深度因素,本文提出一种基于几何复杂度的室外场景图像几何分割和深度生成方法。首先,根据图像中主要线段的角度统计分布将室外场景图像的几何结构规划为四种类型,并确定输入图像的几何结构类型;其次,利用图像分割算法将输入图分割成许多小区域,并依据该输入图像的几何结构类型将这些区域逐步融合成为三个大区域,每个区域具有一致性的深度分布特点,实现输入图像的几何分割;最后,设该图像几何属性对应的标准深度图为初始深度图,并依据图像的几何分割结果获得改善该初始深度图以得到最终输出。实验表明可以通过图像中线段角度统计分布实现图像的几何分割,并生成具有更好细节的深度图。4.基于场景分类和对象检测的单幅室外场景的深度生成由于相似的3D场景通常也具有相似的深度图,本文提出构造含多种场景类型的图像库,每种类型包含了相似场景的彩色图像和对应的深度图。首先,提取输入图像特征向量并采用K最近邻算法确定它的场景类型,通过融合该场景类型数据库中的深度图集得到初始深度图;其次,结合图像分割和对象检测技术标记天空区域和地面区域;最后,利用标记的天空和地面区域深度特征改善初始深度图以得到最终输出。实验表明,该方案能够生成性能稳定、可靠的深度图。