现代科技的进步与传感器技术的发展不断驱使着目标跟踪场景的复杂化,与实际复杂环境更适配的群目标跟踪在近些年成为业内学者重点关注的问题。群目标由运动较相似且在一定距离内的多目标组成,高斯混合概率假设密度（Gaussian Mixture Probability Hypothesis Density,GM-PHD）滤波是多目标跟踪中的主流算法,因此群目标的研究大多是对GM-PHD算法进行改进,但此类算法不能直接精确地跟踪出具有详细信息的目标轨迹。群目标跟踪也要充分考虑目标的群划分及运动过程中可能出现的交叉、分裂合并等复杂动态。针对以上问题,本文引入高斯混合轨迹概率假设密度（Gaussian Mixture Trajectory Probability Hypothesis Density,GM-TPHD）滤波算法,分别对可分辨群与不可分辨群目标的跟踪问题进行研究,主要工作有以下几个部分:（1）可分辨群目标跟踪算法研究。现有以PHD（Probability Hypothesis Density,GM-PHD）为基础的系列可分辨群目标跟踪算法均未能较精确地实现对群目标轨迹的实时跟踪,且在出现多群距离临近、区域重叠及合并分离等复杂场景时跟踪效果相对较差。针对未能实现较精准实时跟踪群目标轨迹的问题,将GM-TPHD引入可分辨群目标的跟踪;针对复杂场景中跟踪效果相对较差的问题,分别提出基于运动关联的GM-TPHD以及基于演化网络的GM-TPHD群目标跟踪算法。基于运动关联的GM-TPHD跟踪算法获得包含于目标轨迹中的运动信息,并结合流形距离、运动方向及大小,通过重点关注目标运动特征以实现在复杂场景中的精确群划分;基于演化网络的GM-TPHD跟踪算法,根据目标空间特征并利用演化网络实时更新出的群内部信息,通过协方差加权与隶属度两种方法对群内目标状态进行修正并反馈至滤波过程,以提升算法在复杂场景中的跟踪精度。多群距离临近与发生合并分离的复杂仿真场景验证了所提两算法可实现精确群划分与较为稳定的跟踪效果。（2）不可分辨群目标跟踪算法研究。对于不可分辨群目标,采用整体跟踪的思想。针对现有部分算法无法实时且精准更新群目标轨迹以及在距离临近、交叉、分裂合并等复杂场景中对群目标个数错估漏估进而导致跟踪精度较低的问题,提出基于改进二次划分模型的GM-TPHD群目标跟踪算法。通过结合GM-TPHD滤波算法与椭圆随机超曲面（Random Hypersurface Model,RHM）模型,实现对群目标状态估计的同时,实时精准更新群目标轨迹。并针对群目标错估漏估问题,提出改进的二次划分模型,在量测划分阶段根据量测集扩散形态判定是否需进行二次划分,以解决复杂场景中群个数错估漏估的问题,提高算法跟踪精度。仿真结果验证了相比于现有算法,所提改进算法解决了复杂场景中群目标个数漏估问题,并提高了算法的跟踪精度。