视频目标跟踪是指对图像序列中感兴趣的目标进行有效跟踪并估计目标状态参数，如位置、速度、尺寸等，以完成更高一级的任务，如行为识别与分析，姿态估计等。视频目标跟踪是计算机视觉领域的一个热点研究问题，在视觉监控、军事制导、人机交互、机器人视觉导航、智能交通等方面有着广泛的应用。由于跟踪场景的复杂性，目标区域的动态变化，以及目标数变化等因素，视频跟踪算法的研究存在很多困难。近年来，不同于传统的基于数据关联技术的多目标跟踪算法，基于随机有限集的多目标贝叶斯滤波及其实现算法给多目标跟踪问题的研究带来了新的思路。基于随机有限集的多目标贝叶斯滤波能够避开数据关联技术直接对多目标跟踪。根据有限集统计理论，多目标状态的随机有限集模型对目标运动，目标新生和目标死亡均进行了建模，因此基于随机有限集的多目标贝叶斯滤波适合于处理目标数变化的跟踪问题。但由于常规的基于随机有限集的目标跟踪算法只针对点目标跟踪问题，而且视频跟踪场景和带有尺度特征的视频目标本身具有复杂性，基于随机有限集的跟踪算法在视频目标跟踪中的应用研究面临着较多挑战。为了提高基于随机有限集的视频跟踪算法的鲁棒性，为科学研究和工程应用提供支持，针对基于随机有限集的跟踪算法存在的问题，本文提出了改进的基于随机有限集的视频目标跟踪算法。改进工作主要从补充跟踪算法的航迹识别功能，提高观测似然函数的区分性和可靠性，以及提高算法状态抽取的可靠性和准确性三个方面着手对基于随机有限集的视频目标跟踪算法进行研究。通过运用状态估计-航迹关联、多特征信息融合、模型自适应更新以及核密度估计等多种技术提出了带有航迹识别功能的高斯混合概率假设密度（Probability Hypothesis Density，PHD）滤波视频跟踪算法，多特征自适应融合的粒子PHD视频跟踪算法，基于颜色特征和高斯混合模型聚类的粒子PHD视频跟踪算法，以及基于粒子PHD及核密度近似的视频跟踪算法，实现了对复杂场景下目标数变化的视频目标的鲁棒跟踪。本文具体的研究工作主要有：1.在基于高斯混合PHD算法基础上，设计了一种带有航迹识别功能的多目标视频跟踪算法。该算法是基于视频目标位置检测的跟踪算法。为提高算法鲁棒性，我们通过改进基于背景减法的运动目标检测方法以产生较为准确的视频目标位置观测，即利用当前图像帧的非目标像素信息对目标背景模型进行更新以形成目标的自适应背景模型，从而提高复杂环境下目标位置量测的可靠性。针对基于PHD滤波的视频跟踪算法只输出目标状态估计随机集（不带有目标身份）却无法识别目标的问题，提出了一种基于auction算法的航迹识别方法对PHD滤波的状态估计进行状态估计-航迹关联，在PHD滤波框架内补充了目标航迹识别的功能，同时进一步去除杂波，提高了基于目标检测的PHD视频跟踪算法的鲁棒性。2.针对单一视觉特征在动态变化场景下描述目标不够充分，观测似然区分目标的能力下降，跟踪目标不够稳定的缺点，提出了一种多特征自适应融合的粒子PHD视频目标跟踪算法。当跟踪场景较复杂时，在基于单一特征的视频跟踪算法中，由于观测似然模型不能有效“辨别”目标，有可能造成跟踪失效。我们采用颜色特征（全局特征）和尺度不变特征（局部特征）描述目标，构建两种特征的观测似然，并采用基于空间不确定性的融合方法对两种特征的观测似然自适应加权融合，根据特征可靠性在线调整融合观测似然函数各分量的权重，实现了信息间的优势互补。在粒子PHD算法中，利用多特征自适应融合策略构建似然模型，提高了粒子PHD跟踪算法在复杂场景下的鲁棒性。该算法不仅能处理目标数变化的视频跟踪问题，还能在目标尺度变化、目标非平面转动，遮挡及在目标附近存在相似表观等场景下鲁棒地跟踪目标。3.提出基于颜色特征的粒子PHD及高斯混合模型聚类的视频跟踪算法。针对基于目标检测的PHD视频跟踪算法（传统方法）依赖所采用的目标检测算法的缺点，我们将基于颜色直方图的观测似然直接引入粒子PHD滤波器，目标特征信息和PHD滤波结合为统一的概率跟踪框架，提高了算法的灵活性和观测模型区分目标的能力。针对粒子PHD算法本身状态抽取不可靠的问题，提出了一种基于高斯混合模型（GMM）聚类的状态抽取方法。在基于GMM聚类的状态抽取方法中，结合视频跟踪算法的特点，设计了一种高斯元管理策略作为模型参数更新算法——期望最大（EM）的初始化方法，提高了状态抽取的可靠性和准确性。通过在PHD框架内引入目标特征信息以及状态抽取方法，提高了基于粒子PHD的视频跟踪算法的鲁棒性和灵活性。4.为了提高粒子PHD滤波视频跟踪算法的可靠性，提出一种基于粒子PHD及核密度近似的视频跟踪算法。由于多目标状态的多峰分布特性，且在遮挡和杂波等复杂情形的影响下，描述后验PHD的粒子分布更加复杂。考虑到粒子分布的复杂性，我们将状态抽取问题转化为对后验PHD的粒子分布进行密度估计问题。参数化的密度估计方法如基于高斯混合模型（GMM）的密度估计方法往往需要已知混合密度函数的形式和混合密度分量的个数等先验知识，而且混合密度模型初始化条件直接影响密度估计的准确性。而核密度估计方法作为一种非参数密度估计方法不需要密度分布的先验知识，且核密度估计方法所得到的密度函数仅由数据本身的结构所决定，因此能有效表示任意密度分布形式。考虑到核密度估计方法的准确性和灵活性，我们将核密度估计方法引入PHD滤波，并提出了基于增量核密度近似（Incremental Kernel DensityApproximation，IKDA）的状态抽取算法。通过将基于IKDA的状态抽取方法嵌入PHD滤波框架，提高了基于粒子PHD滤波视频跟踪算法的鲁棒性。