随机集理论为多目标跟踪提供了简洁的贝叶斯递推形式,有效避免了数据关联,降低了计算复杂度。其中以标签随机集为基础的广义标签多伯努利(Generalized Labeled Multi-Bernoulli,GLMB)滤波器能够解决航迹识别问题,实现真正意义上的多目标跟踪。随着传感器分辨率的提高,点目标跟踪理论不再适用,将目标形状考虑在内的扩展目标跟踪受到国内外学者的广泛关注,迅速发展成目标跟踪研究的热门领域。本文对GLMB滤波器在多扩展目标跟踪中的应用进行研究,主要研究内容如下:1.针对距离划分算法计算复杂度高导致跟踪实时性差的问题,在GLMB滤波框架中用基于密度峰值的快速量测划分(Fast Density Peak-based Clustering,FDPC)算法对量测划分,提出FDPC-GLMB多扩展目标跟踪算法。该算法计算量测的局部密度和密度距离,根据这两个参数判定量测来源,剔除杂波并将来自同一目标的量测进行聚类。与传统量测划分算法相比,该算法只用一个最有效划分结果更新目标状态,能够有效降低计算负担,确保目标跟踪的实时性。此外,针对近邻场景中因量测划分不准确导致目标数低估、目标质心状态出现较大偏差的问题,采用K-means聚类和模糊C均值聚类对FDPC-GLMB算法进行改进。仿真实验表明,改进算法能够在近邻场景中对量测进行准确划分,有效提高对目标数及目标质心状态的估计精度。2.针对随机矩阵建模方法无法拟合不规则目标扩展形状的问题,提出基于星凸随机超曲面的GLMB算法,在此基础上,针对低信噪比环境下量测信息偏少导致形状估计较差的问题,采用EM算法对形状参数多次迭代更新,提出基于EM星凸随机超曲面的GLMB算法。所提算法采用星凸随机超曲面对目标扩展形状建模,在GLMB理论框架下寻找全局最优关联假设,利用该假设中的量测对目标质心状态和扩展形状分别进行更新。仿真实验表明,所提算法在目标质心状态和扩展形状的估计精度方面优于传统的基于随机矩阵的扩展目标跟踪算法。3.针对运动模型选取不当导致估计精度下降的问题,将联合跟踪分类算法应用到GLMB扩展目标跟踪理论中,分别提出基于随机矩阵的GLMB扩展目标联合跟踪分类算法以及基于目标扩展量测的GLMB扩展目标联合跟踪分类算法。所提算法根据不同特征对目标进行分类,在跟踪过程中调整目标种类概率,针对不同种类的目标,采用相应的多模型GLMB滤波算法对目标质心状态进行预测更新。仿真实验表明,所提算法能够有效提高目标状态的估计精度。