深度恢复即恢复真实场景中的三维几何信息,它是计算机视觉与图形学领域的重要研究课题,也是众多领域、课题和应用的研究基础。高分辨率高精度的深度信息在一些需要准确测量和沉浸感(immersive)的应用中起着至关重要的作用,因此对高分辨率高精度的深度数据的需求也在日益增长。本论文的目的在于如何获取高分辨率高精度的深度信息。RGB-D摄像机的低成本(low cost)、高帧率(high frame-rate)和可移动性(mobility)使得它们近几年得到广泛的应用。然而受制于成像芯片的大小和场景光照影响,这些RGB-D摄像机所产生的深度数据通常分辨率和精度有限。因此,如何增强RGB-D摄像机所获取的深度信息成为一个热点研究问题。针对这个问题,本论文对被动(passive)立体视觉与主动(active)深度传感的信息融合、基于RGB-D数据的场景流(scene flow)估计、基于RGB-D视频序列的深度增强等几方面做了一系列的理论研究与实验论证。本文提出一种基于马尔科夫随机场全局优化的被动立体视觉与主动深度传感信息融合算法。在现有的深度恢复技术中,每一种深度传感技术在某一方面都有其限制。例如,被动立体匹配技术对无纹理区域效果不好,主动式深度传感技术对环境光较为敏感容易产生噪声。为了获取精度更好的深度结果,本文采取了融合多种深度传感技术的解决方案。与之前的融合算法不同,本文认为场景中的边缘与遮挡信息对深度恢复起着至关重要的作用。因此,从深度摄像机获取的初始深度观测可以作为场景三维结构的先验知识。而场景三维结构的先验知识则可以用于推理场景中的结构决定信息(structural determinant information),例如深度的不连续(discontinuity)和遮挡(occlusion)区域。此外,场景先验知识对于立体匹配中的颜色不一致问题也能起到帮助。实验结果验证了所提出方法的有效性和准确性,并与现有方法的性能进行了对比。本文提出了一种基于RGB-D数据的稠密场景流方法。场景流类似于光流(optical flow),是物理世界中的三维运动场信息,对深度视频序列的融合以及深度数据的增强有着重要的作用。然而场景流的精度受到诸如遮挡和大位移运动所限制。当出现遮挡时,遮挡区域的像素在前后帧的不存在对应位置;大位移运动则会增加运动建模和计算的复杂性。此外,大位移运动通常也会在场景中引起一定区域的遮挡。为了处理遮挡,本方法对每个点建模其遮挡状态,并同时估计场景流与遮挡信息。为了处理大位移运动,使用了一种过参数化的场景流表示,使得能建模场景流中的旋转与平移分量,并针对这种表示提出了一种两阶段优化过程方法。此外,在第一个阶段中,为了减少大位移运动估计的计算复杂性,本文提出了基于RGB-D图像空间的RGB-D PatchMatch方法。所提出的方法与现有方法相比在Middlebury数据库上取得了最好的结果。同时,所提方法的性能也在Kinect摄像机所采集的真实RGB-D数据上得到全面的验证。本文提出了一种基于RGB-D视频序列的动态场景深度增强方法。该方法包含两个阶段:深度图对齐(depth alignment)与深度图融合(depth fusion)。深度对齐对于一个选定的深度帧通过查找时空相邻帧中的相似三维结构去产生多个深度图观测,深度融合通过融合多个低分辨率的深度图观测产生一个高分辨率的深度图结果。本文提出一种基于RGB-D超像素(RGB-D superpixel)的运动估计方法实现深度对齐,能在大位移运动和遮挡存在的情况下表现鲁棒。本文将深度融合建模为回归问题,并设计了一个深层的卷积神经网络(deep convolutional neural network)结构,这个卷积神经网络能够通过训练大量数据学习多个低分辨率深度观测到高分辨率深度结果之间的映射。在公开RGB-D视频序列上的定量与定性实验验证了所提出算法的准确性和鲁棒性。