全景三维重建是利用全景摄影技术拍摄得到的具有全方位视角的全景图像序列进行场景三维重建的方法,是三维重建理论的重要组成部分。由于相对较少的全景图像数据就可以覆盖待重建场景,全景三维重建可以有效地简化重建问题的规模并提高重建效率,尤其适用于大规模场景的重建。本文对全景三维重建的相关理论和方法进行了深入的研究,设计完成了基于球形摄像机模型的三维结构恢复算法,利用多摄像机系统拍摄生成的全景图像序列,实现了全景稀疏点云重建。首先,本文根据多摄像机系统拍摄生成全景图像的特点,采用了球形摄像机模型描述全景图像的投影关系,并且研究了从多摄像机系统中构建球形摄像机模型的方法以及球形全景图像的表达与存储方法。其次,研究了球形全景图像的特征提取与匹配算法。结合SIFT算法以及球面图像处理方法,实现了针对球形全景图像的球面SIFT算法,解决了球形全景图像的鲁棒特征点提取与匹配问题。再次,对球形摄像机模型下的多视图几何理论进行了研究,推导了球形摄像机模型下的两视图几何和三视图几何理论。阐述了球面对极几何、球面本质矩阵、球面单应性和球面三焦点张量等概念,并讨论了球面本质矩阵和球形摄像机模型下的结构计算方法,引入了球面对极误差和球面重投影误差的估计方法。最后,对基于球形摄像机模型的全景三维结构恢复算法进行了详细设计。研究了球形摄像机矩阵的恢复和基于球形摄像机模型的参数优化等方法。通过球面SIFT算法获得特征点跟踪信息,采用球面对极几何、球面捆集调整优化等算法实现了对球形摄像机矩阵的恢复以及三维场景的稀疏点云重建。