实时图像序列目标跟踪是计算机视觉领域的一个经典问题,它涉及了数字图像处理、计算机应用、模式识别、数学等相关领域的知识,已经被广泛地运用到人机交互、电视监控系统、视频解压缩、智能交通系统等众多领域。如何提高跟踪算法的鲁棒性以及精确性成为目标跟踪领域的重点研究内容。本文主要研究了基于KLT与Mean-Shift算法的目标跟踪,在对二者的缺陷进行改进后,设计了一种双跟踪系统,实现了对目标的准确跟踪。本文研究内容包括以下几个方面:1)首先详述了Harris角点检测算法,介绍了极线几何原理,分析了基本矩阵的估计,结合RANSAC算法实现了对基本矩阵的鲁棒性估计;针对Harris算法缺乏尺度信息、KLT算法对目标的较大运动性能下降等缺点,提出了改进的方法,将其扩展到多尺度空间下来进行目标检测及跟踪。2)介绍了Mean-Shift算法的基本理论,证明其收敛性,并将Mean-Shift算法应用到目标跟踪领域,针对该算法在跟踪领域的缺陷,提出了相应的改进方法:(a)当目标的颜色与背景相近时,提出了空间直方图的解决方案;(b)针对核带宽的尺度问题,提出了基于仿射结构的解决方案;(c)针对目标模型更新问题,给出了部分模型分量更新的策略。3)设计了基于KLT与Mean-Shift改进算法双跟踪系统,讨论了跟踪系统运行的基本软硬件环境,重点分析了算法执行流程、实验步骤以及实验结果。