视频目标跟踪一直以来作为计算机视觉领域的热门领域，在多媒体应用、安防、交通监控、行为识别、虚拟现实中有广泛的应用。然而在实际中，由于复杂的环境干扰（遮挡、目标本身形状变化及光照变化），使得目标准确且快速的跟踪成为计算机视觉研究领域中的一大挑战。针对以上的问题，本文分别从三个框架：（1）背景更新框架；（2）检测-聚类（Detection by Grouping）框架（特征点、特征区域）及（3）检测-分类（Detectionby Classification）框架（基于检测和学习），来进行研究。对于背景更新模型框架，本文在分析了目前三种流行的背景更新模型（混合高斯模型（GMM），码书模型（codebook），自适应混合高斯模型（Adaptive GMM））的基础上，从背景更新时间及前景目标的完备性上选择Adaptive GMM作为本文的前景检测模型。但是Adaptive GMM对于摇动的树叶、喷泉、摄像机抖动等环境干扰的抑制性能还需要通过其他的条件约束进一步提高，为此本文从真实目标运动方向的一致性出发，在Adaptive GMM前景检测结果的基础上先后加入运动模板估计及运动矢量（motion，后续以“motion”表述）平滑约束进行目标限制。得到了良好的前景检测结果。但是基于前景的目标跟踪方法在摄像机不固定的情况下，Adaptive GMM几乎不可能得到比较好的背景，所以后续的motion约束就无法施展。为此本文在“Detection by Grouping”框架下进一步进行了研究。对于“Detection by Grouping”框架，本章首先从特征点的选取入手，通过多种特征点（比如SIFT，SURF，BRIEF，ORB等）在光照不变性、尺度不变性、旋转不变性及抗模糊和跟踪准确性上综合得出相对较好的SURF。当前，利用Mean Shift做相邻帧的数据关联仍然是目标跟踪的主流，但是Mean Shift算法存在以下问题：（1）初始窗口自适应性差，（2）易受初始化目标区域的影响，（3）易受目标运动速度影响。所以本文研究将SURF与Mean Shift进行融合，提出了基于SURF和局部Mean Shift的目标跟踪算法（SURF-LMS）。通过和MS进行比较，跟踪准确性上得到了很大的改善。但是这种框架下，特征点很容易在相似邻域内发生漂移。当前，一些基于“Detection by Classification”框架的在线学习跟踪算法相比上面提到的两个框架下的算法具有更好的跟踪性能。但是这些在线跟踪算法仍然存在一些问题：（1）构建目标性状（appearance model）所用的全局目标结构在有遮挡、目标性状变化及光照变化的干扰下，很难获得良好的跟踪效果。（2）缺乏对当前样本的估计，导致一些“过学习”现象的发生。（3）缺少合适的motion模型去优化目标的定位。为了解决这些问题，本文提出了基于样本选择和几何约束的分块Online AdaBoost目标跟踪算法（简称P-OAB-MW）。主要的贡献为三个方面：（1）一个新颖的局部分块结构被应用于Online AdaBoost Tracking (OAB)跟踪算法中。（2）通过引入一个权重松弛因子（WeightRelaxation Factor （WRF））实现了基于注意力选择的样本权重更新机制。（3）提出了一个两阶段的多子块motion约束模型（Multiple Parts Constraint （MPC））。算法的有效性和准确性在一些具有复杂背景的视频上进行了验证，通过与三种当前流行的在线目标跟踪算法进行比较，获得了更准确地结果。