消费级ToF传感器由于其便携性、低成本及对场景表面深度数据实时获取的优势,已广泛应用于三维重建、人机交互、目标跟踪、语义分割及虚拟现实等许多应用领域中。然而,消费级ToF传感器在采集深度图像的过程中,由于传感器本身硬件设备的限制和采集环境的外界光源干扰等影响因素,使得获取到的原始深度图中含有大量噪声。并且,对于目标表面的镜面反射、高光、透明、环境光干扰和传感器测距范围之外的情况以及传感器本体原因等,会在捕获的深度图中的对应区域及物体边缘产生不同程度的深度缺失。另外,由于ToF传感器成像元件尺寸的限制,使得其采集到的深度图的分辨率非常低,在本研究中采用的ToF传感器Kinect v2,分辨率只达到了512×424。这些缺陷直接导致其无法满足各类基于深度感知的应用对于高质量稠密深度的需求。因此,如何从软件方面着手,通过设计好的算法来提高深度图的质量成为近年来图像处理方向的一个研究热点。在此背景下,本文对深度图增强算法,包括深度图去噪、缺失深度补全以及深度图超分辨率重建三个方面进行了深入研究。本文主要研究内容与创新如下:绝对差值排序是一种基于邻域数值统计的噪声检测算法,可以有效检测RGB图像中的脉冲噪声,但并不完全适用于含有深度缺失的原始深度图。同理,中值滤波作为经典的脉冲噪声滤除算法,对于深度图中无深度值的区域一样不适用。二阶总广义变分可以有效去除高斯噪声,但对于受噪声污染较大的深度图,其容易将脉冲噪声误判为边缘而保留下来以至于造成边缘模糊。为解决上述问题,本文提出一种基于奇异点检测与变分最小化的深度图去混合噪声算法,主要创新在于:对绝对差值排序算法及中值滤波算法,分别提出了适用于深度图的基于扩展邻域的改进算法对脉冲噪声进行检测与滤除;在此基础上,在二阶总广义变分算法的正则项中引入边缘指示函数Canny算子作为加权,对高斯噪声进行有效去除的同时,对图像边缘区域结构细节予以良好地保持与增强。缺失深度补全可分为基于全局优化的算法和基于局部信息的算法,在这两者中,前者的普适性与精度都很高,但计算量大、时间复杂度高,因此实时性差;而后者虽然简单高效,但并不适用于大面积深度缺失的区域。为了解决上述问题,本文提出一种基于全局优化的大面积缺失区域的稀疏粗略深度估计与局部细化的空洞填充相结合的稠密深度重建算法。主要创新点在于:通过采用Canny边缘检测算法获取初始尺度RGB图像的轮廓图,然后对初始RGB图像的偶数行及偶数列进行删除,使其分辨率降低为初始尺度的一半,从而降低全局优化的计算量和时间复杂度。接着采用从明暗恢复形状算法获取低分辨率RGB图像的表面法线图,再对求得的法线图以零值填充的方式进行双线性插值将其尺度放大一倍,使其尺度与原始深度图及轮廓图一致且满足三者像素级的对齐,并产生稀疏的法线图,然后对原始深度图、轮廓图及稀疏法线图求解全局能量函数得到稀疏估计的深度图。在此基础上,利用颜色信息与结构梯度相似性,对基于局部信息的快速行进法的权重进行干预,从而更精准地引导较小缺失区域的深度补全,并以局部轮廓检测的方法来优化补全的次序,使得边缘细节得以较好地保持。实验结果表明,本文基于全局优化与局部细化的缺失深度补全算法,不仅可以重建包括目标表面的镜面反射、高光、透明、环境光干扰以及传感器测距范围之外等情况造成的各种缺失,而且在运行速度上较当前最先进的算法有了很大提高。基于卷积神经网络（CNN）的深度学习算法成为当前超分辨率重建算法中的主流算法,相比以前的大部分超分辨算法,其重建效果最为理想。然而,当CNN采用简单的网络结构和很少的层次时,虽然整体性能相对高效,但网络的准确性却较低;而当网络层次较深、结构更为复杂时,虽然可以达到较高的精度,但对网络的训练趋于复杂,并且难以进行权值初始化、权值衰减率和学习率等方面的超参数调优,致使效率低下。为了解决上述问题,本文提出一种融合多个渐进式卷积神经网络的深度图超分辨率重建方法,主要创新在于:首先,采用简单结构的个体网络来构建渐进式网络;然后,通过一个基于像素级的偏微分方程模型对所有渐进式网络进行融合,从而使得整个神经网络的结构及对网络的训练相对简单,并且拥有相比于当前最流行算法更高的准确性和效率。