基于视频图像的目标跟踪是计算机视觉的核心问题,相关研究在人机交互、智能视频监控、智能交通等领域有广泛应用前景。跟踪算法的核心部分是目标外观建模,由于目标在运动过程中形态往往不可预知,使得跟踪算法研究中具有在线学习能力的外观建模成为热点。近年来,尽管相关研究取得了众多进展,但在实际应用中对任意目标实现可靠跟踪仍是难点,主要受到目标形变的复杂程度、场景中相似干扰、无法判断跟踪可靠性等问题影响。目前,研究者们从目标外观模型的特征设计、目标表示、模型更新方法以及整体跟踪框架中多种信息的融合等方面开展深入研究,试图解决上述跟踪难题。本文属于这一类研究。本文主要做了两方面的工作：1)以场景中相似干扰多导致跟踪困难的自然交互“设备”手部为研究对象,从考虑目标特点的外观建模,背景信息、目标运动信息的综合运用等角度,研究了复杂场景中鲁棒的手势跟踪方法；2)以特征信息丰富但因形变复杂造成跟踪困难的目标为研究对象,模拟人眼初级视皮层腹侧通路的形状感知机制,研究了鲁棒的目标外观建模方法。主要研究内容包括：1.对近年来文献中出现的目标在线跟踪方法进行了比较研究。将六种具有代表性的目标跟踪方法进行了实现,选择涵盖目标形变复杂、光照变化剧烈、存在相似干扰、遮挡严重等特点的测试视频,从定性的跟踪效果与定量的实验数据进行算法的对比分析。在此基础上,总结出了现有方法对本文研究对象进行跟踪时存在的不足,并指出了可能解决问题的研究方向。2.以手部为研究对象,提出了多信息融合的增量子空间手势跟踪方法：1)结合手部的肤色聚类特点,将增量子空间学习算法扩展应用到彩色图像,提出了融合亮度信息与颜色信息的彩色增强型增量子空间目标外观建模方法；2)建立在线更新的背景模型与目标运动轨迹分析模型,提出了两种目标跟踪丢失判断方法。实验结果验证了算法的有效性。3.为提高跟踪模型的抗相似干扰能力,对基于增量子空间学习的跟踪方法从目标不同类型特征的互补运用、结合目标运动趋势检测两个角度进行了改进：1)将目标整体特征与局部特征进行互补建模,提出结合在线蕨丛分类器的增量子空间跟踪方法,用蕨丛分类器对增量子空间方法得到的跟踪结果进行二次筛选,提高跟踪方法的鲁棒性；2)提出融合LK光流运动检测的增量子空间跟踪方法,该方法基于LK算法检测出的可靠光流点数量与分布,约束粒子滤波的运动模型。实验结果表明改进方法在抗相似干扰方面性能有较大提升,而且能提高增量子空间算法的计算效率。4.以特征信息丰富但因形变复杂造成跟踪困难的目标为研究对象,模拟人眼视皮层腹侧通路感知机制,引入具有位置尺度不变性、复杂形状选择特性的C2特征,建立一个基于认知碎片集进行目标外观建模的在线目标跟踪模型。仿真结果验证了本文算法在应对目标复杂形变和严重遮挡时的鲁棒性与有效性。另外,针对上述模型在跟踪具有对称特性的目标时,C2特征全局位置不变性的特点容易造成跟踪发生偏移的问题,从特征类型互补的角度提出了联合整体感知的目标模型,对具有对称特性的人脸目标取得了较好的实验效果。本文工作有助于推进手部作为关键“设备”进行自然人机交互的实用化进程,以及生物视觉感知理论在目标跟踪中的应用研究。