近年来,随着虚拟现实、视觉识别领域的快速发展,开发场景理解能力强,并能应用于远程控制作业的移动机器人的平台是一个意义深远且极具挑战的课题。传统的基于计算机视觉的室内三维重建方法具有无法直接获取位置信息,鲁棒性较差等缺点。而雷达收集的三维点云缺少颜色支持,不便于直观的地形展现。基于上述问题本文提出了一种基于多传感器融合的室内三维重建系统。本文实现的室内三维重建系统主要包括多传感器数据融合、全局坐标系转换两个模块。在多传感器数据融合模块中,本文首先采用棋盘标定法实现相机的标定,并利用Levenberg-Marquardt方法快速迭代求解目标函数。为了获得精确的三维信息,本文结合雷达的几何模型进行了点云解算,在距离墙面的不同位置处作数据采集,实现了雷达内参标定的非线性优化。此外,本文还对雷达外参分为两部分进行标定:首先,将雷达坐标系下地平面和实际地面进行比对,求出雷达坐标系相对小车坐标系的俯仰角与侧滚角引起的旋转、平移矩阵。然后,比对匹配前后标定细杆在雷达坐标系与陀螺仪检测的小车的航向角及平移变化,求出航向角引起的旋转、平移矩阵。最后,合并上述两部分得到的参数矩阵,求得精确的雷达外参。本文提出了新颖的基于霍夫变换原理实现的二维墙面投影检测算法,利用连通区域标记算法(Connected Component Labeling,CCL)实现参数空间四个峰值的检测,通过计算获取二维直角坐标系的对应点,经过点云遍历和参数拟合后精确定位出墙体在场景中的位置。基于该墙体检测结果,本文采用二维棋盘标定板和墙面的联合标定装置利用两者共面的特性,统计出多组彩图下,相机坐标系中墙面的法向量矩阵、距离矩阵以及雷达坐标系下相应的两个矩阵,在求解出两者间投影变换矩阵后,将点云映射到视频流图像中。在全局坐标转换模块中,基于本文提出的室内定位系统,通过雷达和陀螺仪的信息融合,不断对IMU采集信息进行校准,实现雷达的同步定位。本文还研究了点云节约内存的快速加载与并行计算方法,提高了三维重建过程中图形图像处理的实时性。基于上述技术,本文实现了基于多传感器融合的室内三维重建系统,最终得到用图像渲染三维点云后的彩色激光图,实验验证了标定算法和全局定位算法的实用性,该工作为室内虚拟现实以及信息深度融合技术奠定了基础。