在许多领域，对视频图像序列中的运动目标进行检测与跟踪都有着重要的应用，如智能交通系统、医疗诊断、遥感控制、人机交互等。而非刚体目标跟踪在外观形态和内在结构等方面有着不确定性和复杂性，如何提高算法在非刚体目标跟踪过程中的鲁棒性和自适应性是研究者们面临的一大问题，如何对暂时消失又出现的运动目标保持良好的跟踪效果又是一大问题。本文主要研究了TLD（Tracking-Learning-Detection）算法和基于分块动态外观模型与自适应能量谷跳跃蒙特卡罗思想的跟踪算法。TLD算法采用学习模块将跟踪器、检测器结合起来，对外观形态变化较小、从视野中暂时消失又出现的目标有理想的跟踪效果，但不适用于姿态变化较大的非刚体目标跟踪。基于分块模型的改进粒子滤波算法对非刚体目标有实时跟踪结果，但当目标消失又出现时，由于粒子滤波算法没有在线学习能力，所以无法再跟踪上目标。本文在以上两种算法的基础上给予改进，在分块动态外观模型的框架下对小分块进行多线程TLD算法跟踪，提出基于海森矩阵条件数的小分块初始化方法，同时加入分块在线学习检测思想，并且根据小分块的跟踪结果提出了一套小分块的退化更新方法和目标还原策略，对小分块进行在线评估和修改，最终由符合要求的小分块还原出目标位置。实验表明，本文算法对速度变化不等的刚体目标都有很好的跟踪效果，对外观姿态变化较大的非刚体目标，其跟踪效果要远远优于传统TLD算法，且当目标在视野内消失又出现时，本文算法比基于分块模型的改进粒子滤波算法有更好的鲁棒性和可靠性。