随着自动驾驶、机器人、虚拟现实等技术的不断发展,3D视觉技术在计算机视觉领域中得到了越来越多的关注。基于图像的3D视觉是计算机视觉中场景理解的一个重要研究方向,其主要目标是从RGB图像中推断真实世界对象和场景的3D结构及其内容。基于深度学习的语义分割技术具有较好的场景内容解释和理解能力,基于深度学习的双目立体匹配技术可以从一对双目图像中恢复场景的3D信息,较传统算法具有精度高、速度快等优势。随着智能传感器、场景理解等技术需求的进一步发展,基于语义信息的双目立体匹配研究在场景理解中具有重要意义。本文研究并设计了一个基于语义信息的双目立体视觉算法,基于深度学习技术,主要针对利用分割语义信息指导视差优化、网络结构的模块化设计等方面进行了深入的研究与探讨。现将本文主要研究内容概括如下:（1）针对现有基于深度学习的双目立体匹配网络灵活性不足、无法很好地平衡速度和精度指标的问题,本文提出了一种网络结构模块化设计的思想。在一个轻量化特征提取模块基础上,设计了分割特征融合模块（Semantic Fusion Module）和视差特征融合模块（Disparity Fusion Module）,分别用于语义分割图和视差估计图的估计。这种多视觉任务共用网络backbone的设计,可以提高模块利用效率同时降低网络参数量。实验结果表明,在轻量化网络结构的基础上,增加这两个模块,可以得到效果较好的语义分割和视差估计结果。（2）针对现有基于深度学习估计双目视差的方法中,没有较好使用语义信息优化视差的问题,本文提出了一种针对室外自动驾驶场景中基于语义信息的视差优化的方法,设计并实现了一个语义特征调整模块（Context Adjustment Module）。此模块选择左目视图的语义分割图指导优化立体匹配的视差图,对分割图和视差图进行有效的特征融合。实验结果表明,在原有网络结构的基础上,此模块可有效提高图像中部分区域的视差估计精度。（3）针对现有多任务网络结构中双目立体匹配网络灵活性不足的问题,本文借鉴软件系统中的模块化扩展思路,实现了双目立体匹配网络结构的模块化扩展和使用。针对不同的应用需求,本文设计了四种方案,在不同的精度和速度需求下,可以使用不同的方案,选择合适的网络模块进行训练并使用,以满足不同的应用场景,提高网络结构使用的灵活性。