论文部分内容阅读
全景三维跟踪利用全景视觉技术获得全方位视角的图像,基于全景视觉的目标跟踪和立体视觉具有视场范围广、信息完整性高的优点。另外,研究基于全景图的立体视觉技术,可以在跟踪到目标的同时获取目标的三维信息。全景三维跟踪可以改善传统2D跟踪算法的不足,提高跟踪方法的性能,应对日益增加的需求。本文对全景三维跟踪涉及到的理论和方法进行了深入的研究,构建了双目球形摄像机模型,研究了基于球形全景图的目标跟踪算法和立体视觉技术,实现了全景三维跟踪。首先,本文介绍针孔摄像机模型与球形摄像机模型之间的映射关系,基于多摄像机系统构建球形摄像机模型,构建了垂直同向式结构的双目球形摄像机模型,为整体算法提供了硬件基础。其次,研究球形全景图立体匹配算法。对SURF算法进行研究和改进,实现了基于球形全景图的SURF(Speeded up robust features)算法,介绍了球面对极几何理论和球面本质矩阵,并且基于球面对极几何和RANSAC(Random sample consensus)算法对提取的匹配点进行去误匹配。再次,研究了一种快速准确的目标跟踪算法。介绍了压缩感知理论,基于压缩感知理论进行特征提取,阐述了基于MIL(Multiple instance learning) Boosting算法的分类器组合方法,并采用图像时空约束理论对其进行改进,实现了基于检测的目标跟踪方法。最后,推导了球形全景图三维信息计算的方法,实现了基于球形全景图双目立体视觉的景深测距技术,并将跟踪算法移植到球形全景图上。设计了算法的融合框架和详细流程,将全景跟踪和三维信息获取进行融合。实验证明,本文算法实现了大视场范围的目标跟踪并得到目标的三维信息。