立体匹配是计算机视觉研究中最古老的课题之一。其目标是模拟人类的视觉系统,用相机代替双目,用算法代替大脑,从场景的两张二维图像中还原出深度信息来。在诸如三维重建、自动驾驶、体感游戏等许多计算机视觉应用中,立体匹配都起到了着至关重要的作用。其算法的核心任务是,对输入的两张图片做逐像素对的匹配,输出对应的视差图。通过数学变换,视差图可以转换成对应的深度图。最近,深度学习的一个全新分支——生成对抗网络开始越来越受到人们的关注。本论文首次尝试将生成对抗网络应用于立体匹配任务中,提出了一个基于条件对抗网络的立体匹配算法。本论文中的条件对抗网络由两个子网络组成:其中一个子网络是生成器,目标是学习从左右相机视图到对应视差图的映射;另一个子网络是判别器,目标是判断输入的视差图是来自于生成样本还是来自于真实样本。这里,生成器和判别器都以同一对相机视图作为输入。对于这两个子网络,本论文采用了一种对抗训练的方式进行学习。在网络架构方面,充分考虑到立体匹配任务的固有特点,本论文提出的生成器的网络结构结合了Siamese网络与U-Net。其中,Siamese网络可以处理立体匹配的左右相机视图,用于抽取出高层特征。实验结果表明,对比直接在通道上堆叠左右相机视图作为输入,这个结构性的改进可以帮助网络取得更好的收敛效果。而U-Net则是基于传统的编码器解码器结构,在编码器和解码器之间的对应层引入了跳层连接。跳层连接有助于保留高频信息,实现低层特征和高层特征的信息融合,提高生成图像的准确度。在判别器中,本论文采用了与生成器相同的Siamese网络结构,随后再结合经典的图像分类网络结构。最终输出一个概率值,用来反映输入的是生成视差图还是真实视差图。在损失函数方面,本论文提出的生成器采用了基于两个损失项的混合损失函数:其中一个是基于判别器的条件对抗损失项,另一个则是用于回归问题的传统L1损失项。随着对抗训练的进行,可以发现,判别器逐渐学习到高层语义特征,从而能够区分出真实视差图和生成视差图。这些高层语义特征反映在判别器的损失项上,作为一个正则项进一步指导生成器校正预测的视差图。实验结果表明,对比传统的L1损失项,混合损失函数取得了更好的效果。本论文还探讨了网络参数的设置以及训练的细节,并在人工生成的海量数据集SceneFlow上进行了一系列实验。实验结果验证了网络结构中的关键选择以及模型的效果。