视频目标跟踪技术在导弹动态测量、无人飞行器探测与导弹制导等国防领域和智能监控、智能交通、机器人导航等民用领域应用越来越广泛,已经成为计算机视觉和模式识别等研究领域的热点问题之一。在视频目标跟踪研究工作中所要解决的主要难点是待跟踪目标产生的几何变形和由于光照变化、遮挡等外界环境变化造成的目标图像特征数据的快速变化。针对跟踪目标,建立有效、可靠的几何形变和表观特征模型是解决视频目标跟踪问题的关键技术。现有的视频目标跟踪方法通常采用仿射变换或投影变换来描述目标发生的几何形变,然而,仿射变换以及投影变换模型中的参数分布不服从欧氏向量空间,而是服从李群流形空间。此外,视频目标跟踪方法中采用的基于图像的流形特征数据需要处理分析,这些流形数据服从李群流形空间。正确分析目标的几何变形和表观特征数据的李群流形结构,构建高性能目标跟踪算法,具有重要的理论研究意义和实际应用价值。本文在分析总结国内外相关研究工作成果的基础上,基于李群流形理论,针对视频目标跟踪的目标几何变形和目标特征建模两个问题开展了探索性的研究工作,主要研究内容及成果包括：对于经历明显几何形变的目标跟踪问题,目标的几何变形建模是跟踪算法准确性的关键所在。在分析仿射群和投影群(SL(3)群)参数以及滤波算法的基础上,考虑到投影变换可以更真实地反映图像成像过程,提出了一种在投影变换群上的基于双流形粒子滤波的目标跟踪方法。该方法构建了双流形模型,一个是协方差流形,用做目标的观测模型,另一个是在SL(3)群上的几何变换,作为目标的动态模型。双流形模型将投影群与协方差矩阵黎曼流形有机结合,不仅可以更新目标的表观模型,同时可以预测动态流形向量,从而保证跟踪结果的准确性。实验结果表明,该算法能够准确跟踪具有明显几何形变的视频目标,在经历光照变化或是存在遮挡的条件下,该算法同样可以获得良好的目标跟踪效果。针对复杂背景下目标特征模型容易引入背景噪声的问题,提出了两种目标特征建模方法,并构建了目标跟踪方法。首先,基于偏最小二乘分析法具有更好的跟踪鲁棒性和预测稳定性的特点,提出了基于偏最小二乘分析的双模粒子滤波目标跟踪算法。引入偏最小二乘分析来表征目标区域特征,利用仿射变换表示目标的形变过程,分别在李群及其切空间上建立双动态粒子滤波模型。构建了有效的目标特征空间更新策略,提高了目标在经历复杂表观变化或是背景变化时跟踪结果的准确性。实验结果表明,该算法能够有效屏蔽背景干扰,跟踪目标在复杂背景下或是经历暂时遮挡等情况下,该算法的跟踪效果仍然可以保持稳定、准确。其次,在分析双边滤波具有各项异性特点的基础上,提出了一种融合双边滤波的协方差目标跟踪算法。该算法首先对图像进行双边滤波处理,得到滤波后的图像灰度及其梯度信息。然后建立跟踪目标的协方差矩阵,设计跟踪算法。其中协方差矩阵元素间的距离和相似性度量采用对数-欧几里德黎曼度量。同时引入了积分图像的快速运算,有效地提高了协方差矩阵的计算速度。实验结果表明,该算法能够对光照变化条件下的目标或是红外目标实现稳定跟踪,且具有计算效率高的特点。研究了多目标跟踪问题,提出了基于角点检测的互遮挡多目标跟踪方法。首先建立基于李群结构下的双边结构张量的角点检测算法,然后采用K-NN算法对遮挡区域的角点进行分类,进而构建能够有效区分各个跟踪目标的角点匹配算法,实现了相互遮挡的多个目标的有效分离,最后设计了可有效区分互遮挡的多目标跟踪算法。实验结果表明,在出现遮挡的情况时,该算法可有效实现多目标的可靠跟踪。本文将李群流形理论引入到视频目标跟踪领域,系统研究了视频目标的几何变形建模和目标表观特征建模问题,并对本文提出的算法进行了仿真及实验验证,结果表明,本文中提出的方法能够有效地克服目标形变、遮挡、背景复杂、光照变化剧烈等因素的影响,具有可行性、有效性和先进性等特点。