近年来,由于对自动驾驶和视觉监控的需求,多传感器融合使用受到了很大关注。除了传统的RGB之外,红外传感器以及一些激光雷达等深度传感器也被广泛使用,准确的深度图的采集对于自动驾驶至关重要。目前的深度获取方法多种多样,其中一种方法是使用双目立体匹配预测视差,视差可以通过焦距转换为深度,这样的深度图可以大致得到场景的三维信息,但其精度存在误差。另一种方法是直接使用Li DAR相机捕获精度高但由于扫描通道数而稀疏的深度。这两种方法直接使用都不能满足视觉任务的需要。本文对现有获取深度图的方法进行了深入研究,主要包括基于彩色图像引导的稀疏深度图补全和多光谱图像的立体匹配。本文的主要工作和贡献如下:1.稀疏深度补全从Li DAR系统获得的稀疏深度图像并在相应RGB图像的引导下重建密集的深度图像。大多数现有基于全卷积网络设计的方法,在处理不同场景下的深度图时效果不好。在本节中,我们提出了用于稀疏深度补全的选择传播学习网络（SPL）。SPL利用有效矩阵和无效矩阵提取RGB图像和稀疏深度图像的中间特征,沿着两个单独的维度（空间维度和通道维度）预测注意力图,然后将其应用于引导两个分支的深度像素回归.SPL的贡献主要有以下三个方面。首先,我们设计稀疏选择模块（SSM）来简化任务并将其分割为由位置信息强相关的RGB像素引导的稀疏深度图补全和由RGB到深度图的转换网络。其次,我们提出了注意力引导模块（GAM）,它通过空间和通道两个方向将输入的SSM的特征转换为注意力图,然后将其用于引导两个深度预测网络。第三,我们将两只分别由三个级联的输入和输出分别为四分之一、二分之一和完整的分辨率大小的深度图的子回归网络组成的深度预测网络合并,并使用多尺度训练的策略,同时也使用相同大小的相应的真值计算损失。我们的基于稀疏选择传播的深度预测网络大大减少了计算量,更容易探索RGB更通用的深度信息进行实现,也更容易挑战RGB和深度图像的模态差异。实验结果表明,我们提出的方法可以生成实时的低复杂度的密集深度图像,并且在准确性和鲁棒性方面也很有竞争力。消融实验证明了SPL模型的泛化能力和稳定性。2.除了SPL,在本节中,我们还提出了基于卷积神经网络的注意力引导的稀疏深度补全网络AGNet。不同于SPL的目标是使用雷达获取的深度补全,AGNet更聚焦于一个轻量级的模型解决结构光获取的深度补全。我们采用注意力模块从RGB图像中学习几何关系并获取多尺度深度特征。首先,我们使用稀疏深度图与有效矩阵作用下的RGB图像作为输入来生成初始预测的深度图像及其置信度图。然后,我们使用交叉空间注意力模块（CSAM）生成用于深度细化的注意力引导图。为充分利用彩色图片中的信息,CSAM分别用有效矩阵和无效矩阵作用下的RGB图像作为输入,生成引导深度值回归的注意力图。接下来,我们构建了一个多尺度学习网络,对不同尺度的稀疏深度图像进行编码,从而实现准确的深度补全。AGNet利用输入的稀疏深度图像对模型大小适中的粗特征进行编码。实验结果表明,AGNet在NYU v2数据集上实现了与最先进的深度补全方法相当的性能。3.交叉光谱立体匹配旨在从彩色（RGB）和近红外（NIR）立体图像对估计视差。它与传统立体匹配的主要区别在于不同光谱带图像之间有很大的差距,这使得交叉光谱立体匹配具有挑战性。在本节中,我们提出了无监督的基于多光谱图像融合的深度交叉光谱立体匹配。我们在交叉光谱图像转换后又设计了多光谱图像融合网络,以进一步弥补跨光谱图像之间匹配的差异。首先,我们从输入的RGB和NIR图像对中提取特征获得融合后的立体图像对。其次,我们基于视差注意力模块设计了立体匹配网络计算视差。对于损失函数,我们结合了四种损失:视图重建、材料感知匹配、循环一致性损失和平滑损失。我们将转换和融合后的光谱图像利用视差进行视图重建构建损失函数以进行训练,其中我们综合使用了融合立体图像对在背包、皮肤、草坪等材料好的匹配性能以及转换网络输出的伪红外图像对在光、玻璃以及光滑表面等材料的匹配性能设计了新的材料感知匹配损失函数。另外,我们还利用循环一致性视差损失来保证预测的左右视差一致,并使用平滑损失函数保证视差图的平滑。实验结果表明,我们所提出的网络结构成功地估计了对材料属性敏感的视差,并且在多种材料上评估的RMSE优于最先进的模型。