基于深度图绘制的自由视点系统若干关键技术研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:jianjie12321
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
作为传统虚拟现实技术的下一代革新,基于深度图像绘制的自由视点技术允许观看者在一定的范围内自主地选择视角观看其感兴趣的内容,使图像不再局限于若干个有限的固定视角,向观看者展示一个具有高度沉浸感和真实感的三维立体画面,使其恍若身临其境。该技术正逐渐被应用到影视特技制作、三维商品展示、电子商务等多个领域。  然而,基于深度图像绘制的自由视点技术仍面临着诸多富有挑战性的问题:缺少针对不同拍摄环境和拍摄物体具有一定自适应性及鲁棒性的深度获取算法;缺少具有连续性和一致性的视频序列深度图获取方法;缺少具有高逼真感的虚拟视点绘制方法。针对上述问题,本文对深度图的获取和虚拟视点的绘制展开了深入的研究,并取得了如下的研究成果:  (1)提出了面向具有复杂表面特征物体的深度图获取方法  传统的全局立体匹配算法往往使用一阶平滑因子来加强相邻像素间的几何相似性和平滑性,往往容易受到物体的纹理特征和几何特征等因素的影响。因此当拍摄物体具有复杂表面特征时,其所获取深度图具有较差的保边性,带有边缘膨胀现象。尽管有些算法已使用二阶平滑因子来减少上述问题的出现,但是由于未关注相邻像素间的空间几何结构,极易在深度图中出现由过分割和欠分割所引起的虚假边缘和边缘模糊等问题。  为此,针对具有复杂表面特征物体的静态场景,本文提出了基于联合二阶平滑因子和GCPs约束的深度图获取算法。该算法将整个场景看作是由空间中若干个3D entity所组成的集合,并在此基础之上,通过GCPs约束实现对像素视差变化范围的限制,以有效减少由复杂纹理特征所引起的误匹配。另外,针对场景中具有复杂几何特征的物体,该算法还结合纹理图像的片段分割信息,通过基于联合二阶平滑因子的平滑性约束,有效减少由过分割和欠分割所引起的误匹配,具有更好保边性。  实验表明,相比于其他方法,本方法的精确度更高。其在Middlebury网站的众多算法中排名第三,所有测试图像非遮挡区域的平均误匹配率为4.18%。  (2)提出了面向复杂拍摄环境的深度图获取方法  当前的深度获取方法往往只单一地利用基于图像序列的被动获取技术或者基于传感器的主动获取技术。被动获取技术能够在纹理丰富区域和物体边界区域得到较为准确的结果。但是其容易受到场景多样性的影响,往往在光照条件不均匀区域、低纹理区域、重复纹理区域都具有较大的误差。虽然主动获取技术能够消除上述问题,但其本身极易受到噪声、物体表面属性等因素的影响,且分辨率较低。但是不管是场景多样性还是物体表面属性,都是客观存在而又无法避免的,因此单一地依靠被动技术或者主动技术都很难获得令人满意的深度图。  为此,针对具有复杂拍摄环境的静态场景,我们在充分研究主动获取方式和被动获取方式的互补特点之后,提出了基于多信息融合的深度图获取算法。该算法通过多尺度伪双层图模型对不同像素及不同片段间的深度关系进行建模,将深度传感器信息作为整个场景深度图的先验知识,从而增强了对场景多样性的鲁棒性,同时还减少由过分割和欠分割而引起的误匹配。此外,纹理信息被用于限制每个像素点深度变化范围,并作为不同深度获取方式的置信度评价标准,有效减少了由纹理变化和噪声而引起的误匹配,保证了相邻像素间深度分布的紧密性。  实验表明,相比其他方法,本文方法准确率提高近20%。其所获深度图比单独使用任何一种方式的效果都好。此外,本算法在Middlebury网站的众多算法中排名第一,所有图像中非遮挡区域的平均误匹配率为3.85%。  (3)提出了面向动态场景视频序列的深度图获取算法  现有的深度图获取算法并没有充分考虑到深度值在时域上深度值变化的连续性和一致性,往往只能够获得单帧图像的高精确深度图,适用于静态场景。对于包含有快速运动物体的动态场景视频序列来说,由于缺乏时域上的深度值约束,往往导致相邻帧的深度图在时域上缺乏连续性和一致性,出现帧间深度值跳变、闪烁、拖尾等失真现象。  为此,本文提出了基于自适应时域信息约束的视频序列深度图获取算法。该算法通过融合时域上相邻帧图像的纹理信息、片段信息和光流匹配信息,并结合已获得各帧初始深度图的空间域信息,设计基于自适应时域信息的约束条件,增强深度值在时域上分布的连续性和一致性,减少由帧间噪声、帧间纹理分布和帧间光照变化而引起的误差,防止错误的深度估计值在帧间传播,保证帧间深度变化更加平滑,深度分布更加紧密。  实验表明,相比于传统的时空邻域局部算法,本方法的平均误差率减少近65%。相比传统的时空邻域全局算法,本方法的平均误差率减少近48%。  (4)提出了基于片段化异步渲染和深度图边缘校正的虚拟视点合成方法  由于不同观察视角下物体间遮挡关系的变化以及纹理图像和深度图像边缘平滑性不同等原因,虚拟视点图像中会出现空洞、伪轮廓和重影等诸多问题,严重降低了虚拟图像的主客观质量,影响了虚拟视点的视觉感受。  为此,针对上述问题,提出了基于片段化异步渲染和深度图边缘校正的虚拟视点绘制算法。该算法通过采用基于片段化的异步渲染方法,防止了重影问题的出现,并有效填充了,空洞区域。同时利用深度三边滤波器将深度图前后背景边缘和纹理图像的前后背景边缘进行对齐,最大可能的减少了伪轮廓的出现。  实验证明,本算法所绘制的虚拟视点具有较高的成像质量,前景物体的边缘没有背景像素残留,具有良好的保边性。另外,本方法所绘制的虚拟视点的成像质量不随着基线距离的增大而增大,具有很好的鲁棒性,适用于不同基线距离下的虚拟视点合成。
其他文献
学位
学位
学位
学位
学位
近年来,在学术界和产业界的共同推动下,云计算得到持续发展,越来越多的应用系统走向云端,云服务模式逐步从理想走向现实。基础设施提供商构建数据中心甚至是跨域的数据中心平台以
学位
蛋白质是由氨基酸脱水缩合组成的复杂有机物。在大多数生物体各个组织里面,蛋白质的含量仅次于水,并参与多种生命活动过程,在生物体中的功能至关重要。  蛋白质的空间结构决定
学位
学位