深度感知,是三维场景理解的关键步骤。深度传感器的快速发展使得直接通过设备采集得到深度信息成为可能,但它们仍存在自身的缺陷。Kinect相机往往只适用于室内环境,而室外自动驾驶环境下所使用的LiDAR代价相当昂贵,且所采集的深度数据较为稀疏,因此限制了它们的使用范围。从RGB相机拍摄的图像中恢复场景的深度信息,展现出了一种更为通用且廉价的替代方案。然而,从图像中恢复深度又极具挑战性。传统算法往往需要求解一个较为复杂的优化问题,同时难以保证对缺乏纹理等极端情形下的恢复质量。本文借助于深度学习高效的推理速度以及强大的表示学习能力,使得我们所提出的方法能够高效地得到高质量的结果。本文首先考虑利用深度学习的方法从单目相机所拍摄的视频中恢复深度。现有的方法可分为有监督学习和无监督学习。有监督方法通常局限于少量的带有深度真值的数据集,而无监督方法往往基于静态场景的假设,从而在存在动态物体的现实世界中表现欠佳。因此,本文提出了一种新的无监督学习框架来从单目视频中恢复深度。特别的,本文提出了一种基于双三次函数的变形表示来建模每一个物体的运动,从而使得我们的框架在无约束的动态场景中都能适用。我们通过在三个数据集上的充分实验验证了所提出算法的有效性。为了得到更加鲁棒的深度恢复结果,本文进一步考虑从双目图像中恢复深度。现有的深度学习方法大多基于计算代价昂贵的3D卷积,由此带来的三次计算复杂度和内存消耗使得这些算法很难在实际场景中应用。我们的目标是完全替换3D卷积从而达到快速的计算速度。为此,本文首先提出了一种基于稀疏点的代价聚合算法来缓解在视差不连续区域的边缘肥胖问题,进而又提出一种端到端可训练的跨尺度代价聚合模块来处理无纹理区域。利用本文所提出的算法,我们可以得到高达40倍的速度提升,同时保持极具竞争力的性能。我们通过大量的实验分析验证了所提出算法的高效性与通用性。