立体视觉是计算机视觉领域的一个重要分支,其中三维场景理解一直是研究热点之一。本文主要面向铁路线路视频研究三维场景理解技术,恢复出场景中物体的空间相对位置,从而可以更加生动、真实地描述铁路线路环境,对于生成线路环境全景图、线路三维导航以及维护线路环境运行安全等具有重要的理论意义和应用价值。论文的主要工作如下：1.面向铁路线路视频,提出了构建铁路场景三维空间布局方法。首先通过分析二维平面与三维立体之间的转换关系、摄像机成像原理、各个坐标系之间的对应关系和立体几何原理,提出了自动获取视频空间场景布局的方法。其次基于由线到面再到体的构建过程,恢复出场景立体分布情况,并且将此研究应用到全景图生成的方法上,可以自动地拼接出铁路视频的全景图,从而提高生成全景图的质量。2.提出了铁路线路视频的深度估计方法,进而构建出三维环境视频。目前常用的两种获取深度图的方法,一种是基于硬件传感器的方式拍摄得到。这种方法比较简单,结果精确,但是会受到电源和电线的限制：另一种方法是使用半自动交互软件生成深度图。这种方法不受区域的限制,但是在生成过程中需要用户的干预。为了更好地得到视频深度信息,本文将上述方法与基于图像特征匹配的方法相结合,提出了一种新的线路视频的深度估计方法。实验结果表明,与马尔科夫随机场(MRF)方法相比,运用本文的方法得到的深度图误差较小更为准确。与Depth Transfer方法相比,估计结果很接近,但是Depth Transfer方法需要使用Kinect拍摄得到RGBD先验数据集。而本文克服了Depth Transfer方法的限制,采用DMAG软件搜集了RGBD数据集,因此,本文的方法不受Depth Transfer拍摄场地和环境的限制,可以得到任意图像的深度值。