随着传感器技术的不断发展,现代传感器的分辨率得到极大提高。在传感器能取得目标充足量测的支持下,研究如何估计目标形状的扩展目标跟踪技术成为了热点。基于随机集的多目标跟踪算法具有避免复杂数据关联的独特优势,受到广泛关注。本文主要研究了泊松多伯努利混合（PMBM）滤波器在多扩展目标跟踪中的应用,具体研究内容如下:（1）针对现有的GGIW-PMBM算法跟踪非椭圆形状目标时扩展状态估计效果较差的问题,提出了基于高斯过程的PMBM扩展目标跟踪算法（GP-PMBM）。首先基于高斯过程建立了增广状态空间模型。然后结合扩展卡尔曼滤波推导了扩展目标在增广状态空间模型下的参数更新公式。最后将其与PMBM滤波器相结合,提升了算法的跟踪性能。仿真实验验证了所提算法对任意星凸形状目标跟踪的有效性。（2）针对因使用非线性滤波技术而导致基于高斯过程建模的算法滤波精度下降的问题,提出了基于变分贝叶斯原理改进的GP-PMBM算法。首先基于变分贝叶斯方法推导了目标运动和形状联合状态的近似后验密度。然后将推导的更新过程与GPPMBM滤波器相结合,实现了对目标联合状态的优化更新。最后通过构造仿真实验,验证了所提算法相较其他跟踪算法在估计目标运动状态和扩展状态方面的性能优势。（3）针对现有的PMBM算法在遮挡场景下不能稳定跟踪的问题,提出了融入模糊推理系统的GP-PMBM算法。首先,给出在随机集目标跟踪模型下的扩展目标遮挡模型。然后对PMBM滤波器的状态空间模型进行改进,通过加入可变检测概率的方式将目标遮挡对目标状态的影响考虑到算法滤波中。最后构建了一个估计目标遮挡概率的模糊推理系统并将其与GP-PMBM结合。仿真实验结果表明,提出的改进算法在目标遮挡场景下的跟踪性能优于普通的PMBM滤波算法。