在测绘、机器人和军事等领域,三维重建是非常重要的技术之一。基于图像的三维重建技术,由于其廉价高精度的特点,大量应用于无人机、机器人、增强现实等领域,目前自动驾驶汽车也大量使用基于图像的三维重建技术,实现对周围环境的感知。为了更加高效的获取环境信息,提高三维重建效率,解决三维重建中常见的低纹理问题,同时实现设备的小型化,研究基于全景相机的三维重建技术具有广泛的应用前景。本文首先研究了普通相机三维重建的原理与方法,设计了一套有很强兼容性和扩展性的三维重建流程。然后对全景相机的成像原理进行了研究,借助实验室研发的全景相机样机,实现了一种针对嵌入式设备的图像拼接方法。之后将三维重建中的透视几何推广到全景图像中,最后实现了全景相机的三维重建。本文的主要成果均融入到一个三维重建框架中,框架使用C++开发,支持多种不同的相机模型(包括全景相机模型)与不同的重建算法,具有很好的灵活性,可以作为其他软件项目的基础,同时,框架中的所有算法尽可能进行了并行化,不仅充分利用了多核CPU,更利用了GPU强大的并行处理能力,大大提高了三维重建的速度。以多个标准数据集对开发的框架进行测试,框架能够较快且精确地构建出目标的三维点云以及所有相机的拍摄位置,最后使用实验室研发的全景相机采集的若干全景图像进行测试,效果也达到了预期。