工作在高频波段的超视距雷达（Over-the-Horizon Radar，简称OTHR）与普通雷达不同，它利用电离层对高频信号的反射作用而进行目标探测。因此具有监视范围广，可以对抗反辐射导弹、隐身目标、低空超低空目标等优点。同样OTHR的目标跟踪数据处理具有普通雷达不同的性质，比如：具有多个传输路径、杂波密度高、每条传输路径的检测概率比较低等。传统的超视距目标跟踪方法主要分为两类。第一类是先用传统的跟踪方法在雷达坐标系下进行跟踪，然后将获得的航迹运用相应的传输路径转换到大地坐标。第二类是将测量值从雷达坐标系转换到大地坐标系，然后直接在大地坐标系下对目标进行跟踪。本文研究的目标跟踪方法属于第二类，它可以在每条路径检测概率都比较低时仍能够维持跟踪的优点。本文以随机集理论作为数学工具对超视距目标跟踪算法进行研究，提出了针对超视距目标跟踪问题的一系列实用算法。主要工作和贡献包括如下内容：　　1、在贝叶斯理论框架下，着重讨论了几种具有代表性的滤波算法：Kalman滤波器、扩展Kalman滤波器、无迹Kalman滤波器和粒子滤波器。并且分析了这些算法的各自特点。由于在状态空间估计问题中，预测、滤波和平滑是非常重要而且相互关联的三个问题。因此接着介绍了几种目标跟踪的平滑方法：前向后向平滑算法、二滤波平滑算法和最大后验平滑算法。最后较为详细的论述了随机集理论的相关概念，比如：随机集的定义、集积分、集导数、概率分布函数、信度函数和常用的几种随机集。为后续工作奠定基础。　　2、提出了一种MPBF滤波器，该滤波器能够在OTHR环境下检测和跟踪单个目标。MPBF滤波器是伯努利滤波器的扩展以适用于多路径的情况。运用RFS模型，OTHR中的目标联合检测和跟踪问题能够认为是一个有限集值状态和有限集值测量值的贝叶斯最优滤波问题，并且我们得到了其贝叶斯最优估计值。得到了高斯混合形式的闭合解，而且运用扩展卡尔曼滤波器解决OTHR中测量方程是非线性的问题。而且，MPBF滤波器很容易扩展到多个OTHR站联合跟踪目标的情况。MPDA滤波器和MPBF滤波器都会由于在初始化时错误的多经传输模式关联产生多径航迹。我们分析了这种现象的内在原因并且提供了一种方法去识别这些多径航迹。仿真实验表明：MPBF的跟踪精度高于MPDA算法，且能够正确识别出多径航迹。最后，在实际超视距雷达中，坐标配准具有一定的不确定性，因此讨论了如何将这种不确定性引入MPBF算法中，且提出扩充状态向量所包含的元素，将电离层高度包含于状态变量中。　　3、为了将线性模型的高斯混合平滑方法的闭合解推广到非线性情况，提出了运用高斯粒子近似法和无迹变换近似法获得非线性模型的高斯混合平滑算法的闭合形式解。在高斯混合平滑方法的后向平滑概率密度函数中包含一个比较特殊的非线性项，这个非线性项不能用线性化方法近似，于是本文提出用相应的高斯粒子近似法和无迹变换近似法对其近似。数值仿真发现，高斯粒子近似法和无迹变换近似法有相似的精度，但是无迹变换近似法的计算复杂度要小于高斯粒子近似法，因此在下章对MPBF算法的扩展中，应用无迹变换近似法求解非线性高斯混合平滑方法的闭合解。　　4、对MPBF滤波器做进一步的扩展，提出将无迹变换近似法扩展的非线性模型高斯混合平滑方法运用于MPBF中，得到多径伯努利前向后向平滑器。该算法和一般的平滑算法一样，由于不但运用了过去和现在的测量信息，而且还利用了将来的测量信息，因此该算法的目标状态估计精度和目标存在MPBF算法更精确。