目标跟踪的关键是在保证实时性的同时合理、快速地提取目标特征并准确地对其定位。在现实的目标跟踪场景中环境往往是复杂多变的，光照变化以及遮挡问题时常发生，此外目标自身的尺度变化、旋转运动以及外观变化也会给跟踪带来困难。在诸多的跟踪算法中，Mean Shift算法以其计算简单稳定性好的优点成为当前的主流算法。本文对Mean Shift算法进行了深入研究，针对该算法在复杂场景中存在的问题提出改进算法，主要研究内容如下：单一的基于方向纹理特征的模板匹配跟踪算法不能准确跟踪目标旋转的情形，为了应对光照变化、目标旋转以及部分遮挡的复杂场景，在Mean Shift算法框架下提出一种基于颜色与梯度方向联合直方图的跟踪算法。通过将颜色与梯度方向特征融合到一个直方图中构成联合直方图，光变因子检测光照变化程度用以区分主次特征，以充分发挥颜色对旋转鲁棒以及梯度方向对光照变化鲁棒的优势。通过将目标分为若干子区域单独跟踪解决部分遮挡问题。实验结果表明本算法很好地处理了光照变化、目标旋转以及部分遮挡的复杂场景跟踪。针对经典Mean Shift算法尺度固定、模板漂移的问题，提出基于各向异性核函数尺度与方向自适应的跟踪算法。运用Sobel算子检测出首帧目标轮廓，在均布的方向上提取目标边缘点表征目标边界。核函数的权重以目标边界为零由外向内依次递增，根据边缘点的距离计算得出，以此构造各向异性核函数。采用固定增量法选择匹配相似度最大的角度更新方向信息，确定目标位置后运用等比例缩放的策略进行尺度更新并更新模板。实验结果证实新提出的算法在目标旋转和尺度变化的跟踪场景中能表现出良好的跟踪性能，具有较好的应用前景。