双目立体视觉技术是计算机视觉领域中的一个研究热点,通过双目摄像机模拟出人类视觉系统来感知世界,在公共安全,视觉导航,地图生成,航空勘探,三维重建中具有广泛的应用。本课题研究了双目视觉的重点技术立体匹配。本文首先介绍了双目匹配问题的基本概念与国内外的算法背景,介绍了立体视觉的理论基础,其次重点研究基于深度学习的立体匹配算法。论文的研究内容可以概括如下:(1)本文重点研究了双目立体匹配问题中匹配代价集的构建问题,创新性的提出了一种新的匹配代价集的构建算法,通过左右视图中两个图像块的对应位置的像素值相乘的值用来构建匹配代价集,这个匹配代价集的构建方式计算方式简单高效,又能让匹配代价函数在匹配代价集中学习到含有双目视图的特征信息帮助训练。(2)针对立体匹配中弱纹理区域的匹配问题,传统的立体匹配算法往往只考虑二维图像局部信息,而匹配代价集中视差维度的特征在弱纹理的情况下具有很好的区分效果。本文首先采用基于残差结构的3D卷积对匹配代价集进行降采样,提取匹配代价集中视差维度的特征辅助训练。(3)采用3D反卷积的方法将低分辨率的匹配代价集复原到与输入图像相同的分辨率,为了补全降采样丢失的细节信息,将浅层3D卷积层产生的特征图与深层3D反卷积层产生的特征图进行相加,便于网络训练(4)针对立体匹配算法通常是分步计算的问题,流程复杂且每一步都需要调优,本文提出用1×1×1卷积操作从匹配代价集中预测视差的方法。让网络进行端到端的进行训练,解决了传统立体匹配流程复杂分步优化的问题。(5)对采用1×1×1卷积操作从匹配代价集中预测视差的算法进行改进,将匹配代价集中的数值通过softmax函数转成概率模型,计算匹配代价集期望作为预测的视差值,让网络能够端到端的进行训练。经过实验得出具有更高的精确度,为了解决数据少导致过拟合的问题,采用迁移学习的方法,采用Scene Flow数据集预训练的模型用于KITTI Stero2015数据集微调,将实验结果与其他算法进行对比,验证了本算法的优越性,并在KITTI Stereo2015榜上取得了第十名的成绩。