可见光图像不能显示在夜间或者烟雾遮蔽环境中的热源目标，而红外图像可以显示目标但其边缘信息模糊，将红外图像和可见光图像融合可以提高目标跟踪的性能。本文研究了基于Kalman预测器的自适应模板的相关跟踪算法。通过使用相关系数及其变化判定遮挡时刻；利用Kalman预测器对目标可能的搜索区域进行预测；使用基于模板缓冲区的更新策略更新目标模板。Camshift跟踪算法以计算量小、抗目标变形、旋转和抗小面积遮挡等优点，得到普遍的重视和广泛的应用。但是Camshift算法不易排除相似颜色的目标干扰以及不能跟踪快速移动的目标。本文提出了基于Kalman预测器的改进的Camshift跟踪算法。该算法对于相似颜色的干扰，采用基于空间梯度信息的颜色目标模型；对目标遮挡采用bhattacharyya系数以及目标面积的变化进行判断；采用Kalman预测器对目标快速运动的搜索区和遮挡过程中的目标位置进行预测。本文在基于Kalman预测器的改进的Camshift跟踪算法的基础上，针对红外和可见光图像融合的目标跟踪进行研究。首先研究了基于像素级平均加权的图像融合跟踪；然后针对红外和可见光的不同特性，使用基于特征融合的目标跟踪算法，其中对红外图像提取灰度值和梯度，对可见光图像提取目标的颜色和梯度，通过对两种图像的bhattacharyya系数判定，得到各自的权重，再根据各自的权重计算出目标的位置。本文较全面、深入地研究了多传感器单模、双模目标跟踪算法的原理、方法及应用，并在此基础上实现了基于红外和可见光图像融合的目标跟踪算法。