随着计算机视觉、移动测量、机器人、自动驾驶等领域的发展,如何有效地利用现实世界的图像和三维信息,以及对周边环境的360度全方位感知和测图成为一个最基本的任务。在这些应用中,使用最为广泛的两种传感器就是相机和激光雷达。相机拍摄的图像具有分辨率高、视觉纹理信息丰富等优点,激光雷达能够获得具有场景三维几何结构和深度信息的点云数据。由于这两种数据具有互为补充的特性,如果能将图像和三维点云进行融合,就能同时获得物体表面的三维几何及其纹理信息,为机器人定位与路径规划、场景感知与理解、目标识别与跟踪等任务提供360度全方位的数据支持。本文以三维激光扫描仪和多相机系统为实验工具,研究基于多相机系统摄影几何的全景图像拼接,以及其和密集三维点云的融合问题。由于多相机系统装配完成后其内外参数是未知的,因此对多相机系统的参数进行标定是拼接和融合的先期工作。在比较和分析棋盘平面标定法和传统摄影测量标定法各自特点的基础上,为保证标定精度,本文利用多片空间后方交会来标定多相机系统。针对广角、短焦的相机镜头存在畸变的问题,本文使用径向切向模型对相机的畸变进行模拟,将畸变系数和其他内外参一同作为待定参数,通过多片后方交会一次性解算。利用标定的畸变系数对原始畸变图像进行畸变纠正,并使用多相机系统内外参数建立全景映射模型,将畸变纠正后图像映射到全景球面上,最后通过球面展开得到全景图像。图像和点云的融合本质上是求解两个传感器坐标系间的外参,包括一个三阶旋转矩阵和三维平移向量。本文通过三维平面对两个坐标系的几何约束关系求得外参初值,并利用LM算法迭代优化目标方程,得到全局优化后的外参。本文研究了通过以近景摄影测量标定场为中介的点云和图像的融合方法。首先通过ICP算法得到激光坐标系和标定场的外参初值,然后使用LM算法迭代优化得到全局最优解,相机和标定场的外参则通过空间后方交会得到。由于多相机系统装配和集成上空间位置的限制,其六个单目相机的光心不能完全重合,待拼图像由多个相机分别以不同的视角,从深度差异较大的场景中拍摄得到,导致了拼接结果中重叠区域可能存在轻微错位和重影。针对此,本文利用点云的深度信息优化重叠区域问题,以达到优化拼接效果的目的。