三维目标跟踪是计算机视觉领域的基础性问题,一直以来都是国内外学者们的研究热点。经典的基于模型的三维跟踪方法是将三维模型投影出的边与图像中的边进行对齐的配准过程,而利用图像处理技术可以得到三维模型投影到图像上的轮廓,然后在轮廓上均匀采样得到点,最后边的对齐实际上就是轮廓上的采样点与其法线方向上候选点的匹配。然而,这种低级的点匹配受光照变化、遮挡、运动模糊等因素的影响极易发生错误,导致跟踪的失败。为了解决低级匹配错误导致跟踪失败的问题,本文通过使用惯性测量传感器辅助视觉传感器来估计相机姿态,提出了一种能有效提高基于模型的三维目标跟踪鲁棒性的新方法,即基于多传感器融合的三维跟踪。主要贡献如下:1.通过在视觉传感器(相机)上绑定惯性测量传感器来估计相机的旋转。惯性测量传感器包含3轴陀螺仪、3轴加速度计和3轴地磁计,分别可以测量角速度、加速度和地磁强度。我们首先对从惯性测量传感器获得的原始数据使用卡尔曼滤波以降低测量误差。对角速度在时间上进行积分和递推,可以计算出转动角度,由此可以得到相机的旋转,然后为了提高相机旋转估计的精度我们提出基于补偿滤波的传感器融合算法。与此同时,通过对加速度的积分可以得到相机速度,这将为使用粒子滤波算法估计相机平移提供帮助。2.通过粒子滤波确定相机平移。把我们以已经得到的相机旋转和相机速度作为粒子滤波的输入,每个粒子表示潜在的一个相机的姿态,使用动态模型预测,观测模型修正。粒子只有相机平移三个自由度的状态空间,使得粒子滤波过程可以使用相对较多的粒子来保证跟踪效果,同时又能将计算代价控制在可接受范围之内。3.实现算法集成框架。本文将惯性测量传感器和粒子滤波集成到一个算法框架之下。通过本文提出的方法,可以实现稳定的跟踪。综上所述,本文就三维目标跟踪课题进行了研究,提出了一种通过使用多传感器融合进行跟踪的方法。通过实验,我们检验了所提出算法的可行性,并且通过定量分析和定性分析验证了算法具有很高的精确性和鲁棒性。