立体视觉能够重建环境的三维信息,在获取深度信息方面具有灵活性高、成本低的特点,因而在自动驾驶、虚拟现实、机器人导航、非接触式测量等领域得到了广泛应用。其中,立体匹配是双目立体视觉中的核心关键技术,其目的是计算经过校正的左右图像中匹配像素的视差值。近年来,随着人工智能技术的发展,基于深度学习的立体匹配技术相比传统方法,在性能上取得了很大的进步,但是在复杂的实际场景下,仍然存在着较大的改善空间。本文主要针对立体匹配技术中存在的三个问题进行深入研究。首先,现有技术在遮挡、光照变化、弱纹理等不适定区域存在较大的匹配歧义,影响了整体视差精度的提升。第二,当前主流的基于3D成本体的立体匹配算法,假设视差概率分布为单峰分布,利用预测的概率对候选视差进行加权求和,获得最终的结果。而在实际场景中,获得的概率分布往往存在多峰现象,这会导致视差外点的生成。第三,在网络训练中,广泛采用的视差损失更加侧重近处的大视差区域,而忽略远处的视差估计性能,这对整体视差精度和后续目标检测等下游应用造成不利影响。本文的研究内容和贡献主要有以下三点:（1）针对不适定区域的匹配歧义问题,本文引入高层的全景语义信息指导视差的估计。我们在立体匹配分支中结合了语义分割和实例分割两个任务,并提出了置信度、视差残差和损失模块,分别从全景特征、类别和几何结构角度对视差进行优化。考虑到左右匹配像素在语义特征和实例特征上的一致性,置信度模块通过计算不同候选视差下语义和实例特征的相关性来调整成本体中的概率分布。视差残差模块将视差图按照语义和实例类别区分为多个通道,采用深度可分离卷积获得语义和实例相关的视差残差。损失模块进一步利用全景图和视差图的几何相似性,生成全景指导的边缘和平滑损失对立体匹配进行监督。整个模型在多个公开数据集上进行实验和分析,证明了引入全景信息的有效性。（2）针对预测阶段视差概率分布的多模态问题,本文提出了基于无偏移单峰分布成本体的立体匹配算法。我们首先分析了视差概率分布的不同类型,其中多峰分布以及偏移的单峰分布都会造成预测误差。为了解决该问题,我们从三个角度出发来设计网络结构。充足的特征能够帮助网络更好地学习到单峰分布,我们在一般的3D卷积基础之上,引入了沿视差维度的2D卷积来获得全局的视差特征。然后,我们提出了自监督单峰损失,促使多峰分布能够趋近于单峰。最后,利用逐步优化结构迭代预测视差概率与视差偏移量,以此来微调偏移的单峰分布。整个网络能够在有监督和无监督两种模式下进行端到端训练,实验表明我们的方法能够有效提升视差估计的性能。（3）针对传统视差损失对于远近像素的侧重不平衡问题,本文提出了归一化视差损失,它能够嵌入到绝大多数的立体匹配网络中提升中远距离处视差的估计精度以及整体的匹配性能。我们观察到,传统视差损失随着视差值的增加而变大,这会导致远处的损失过小,无法得到有效训练。我们引入了一个代价函数来模拟这一趋势。通过将视差损失与该代价函数进行相除实现归一化,能够使得网络更加均衡地训练不同大小的视差。除此之外,由于获取代价函数时存在统计误差,我们限制了其最小和最大值,以此来避免潜在的异常情况。我们在多个公开的立体匹配数据集和不同的基线模型上进行了充分的实验,验证了归一化视差损失的通用性和有效性。同时,将该方法获得的3D点云输入到3D目标检测网络中,能够提升中远距离处的检测精度,说明该方法对于立体匹配的下游任务具有很好的应用价值。