对于移动机器人来说,一个基本的场景重建过程包括了环境感知、移动机器人的定位与位姿优化、地图的生成与拼接、重定位等步骤。本文着重研究了其中的环境感知、位姿优化、重定位三个部分,并以此构建了一个完整的移动机器人场景实时重建系统。本文研究了一种基于三目相机信息融合的高精度深度感知算法。传统的基于被动测距的立体视觉算法,常常对环境中的纹理有强依赖性;而深度相机不依赖于纹理,但输出的分辨率较低,且易受环境光影响,存在一定的系统误差。本文充分利用了这两者各自的优点,提出了一个新颖的三目相机深度信息融合算法。实验结果表明,相比传统的双目测距和深度相机测距,该三目相机可以输出误差更小,可靠性更高的深度图,且优于其他经典的三目信息融合算法。本文研究一种适用于结构化环境的视觉里程计,用来对移动机器人进行定位和位姿优化。本文在经典的直接法视觉里程计DSO的基础上,通过引入室内常见的平面约束,构建了一个在结构化环境中更为稳健的里程计系统。该平面约束的引入,使得优化模型中待优化的变量大大减少,并加快了优化过程的收敛。实验结果表明,相比DSO,本文改进后的里程计不但更加稳定,同时运行效率也得到明显的提升。本文研究了一种用于快速重定位的逐层聚类匹配算法。该算法利用逐层聚类匹配的思想,在迭代过程中将不符合局部几何一致性的匹配去除,而将符合的点对聚类到一起,直至收敛。相比常用的RANSAC算法,该逐层聚类算法即使是在一些复杂情况下依然有着更高的准确度和接近于()的时间复杂度。此外,基于该算法的重定位结果相比常用方法有着更小的累计误差。最终,本文构建了一个完整的移动机器人室内场景实时重建系统,并在一个搭建有三目相机的移动小车上进行了实验,同时建立了一个含有参考真值的室内数据集。实验结果表明,相比目前经典的双目重建方案和RGB-D重建方案,本文提出的基于三目立体视觉的场景重建效果更好,尤其是对不同场景的适应性更强。