卡尔曼滤波是线性高斯最优滤波的递推显式解。对于一般的非线性、非高斯系统,最优滤波是没有递推显式解的。由于非线性在现实中具有普遍性,因此,研究非线性系统的最优滤波具有更重要的理论意义和实用价值。以寻的导弹制导这一应用为背景,本文在贝叶斯框架下研究了一般随机离散时间非线性系统的最优滤波问题。首先,从随机动态系统的贝叶斯滤波方程出发,描述了一般马尔可夫系统最优滤波的两类近似方法:高斯滤波和粒子滤波。高斯滤波结构简单,计算代价小,但是,其高斯假设在很大程度上影响了这类滤波器的估计精度和收敛性。由于扩展卡尔曼滤波(EKF)和不敏卡尔曼滤波(UKF)目前仍然是应用最为广泛的两种高斯滤波算法,因此分析了EKF和UKF在实际应用中的误差补偿措施。对于粒子滤波,本文从蒙特卡洛积分的观点研究了粒子滤波的退化和样贫问题,探讨了粒子滤波抽样效率的改进途径。其次,研究了一类马尔可夫切换系统的最优滤波,导出了该类系统的递推贝叶斯滤波方程。从该方程出发,得到了两个重要推论:交互式多模型递推贝叶斯滤波方程和静态多模型递推贝叶斯滤波方程。基于高斯假设,通过上述推论推导了两类多模型高斯滤波方法——交互式多模型高斯滤波和静态多模型高斯滤波。这两类方法分别是现有交互式多模型(IMM)算法和多模型自适应估计(MMAE)算法的推广。此外,针对非线性和/或非高斯较强的切换模式情形,利用蒙特卡洛方法,给出了两种新的滤波算法——交互式多模型粒子滤波和静态多模型粒子滤波。应用方面,在仅有角度测量的跟踪系统中,由于大的初始误差和弱可观测性等问题的存在,发展一种具有快速跟踪能力的鲁棒滤波算法具有重要意义。对此,本文基于最小二乘原理提出了一种新的滤波算法——两步Sigma点滤波。新算法利用UT变换和统计线性化思想改进了传统两步滤波算法,在此基础上结合改进的Sage-Husa时变观测噪声统计估值器提出了一种自适应两步Sigma点滤波算法。该算法解决了测量噪声统计特性未知情况下的非线性滤波问题。在红外寻的制导中,基于红外传感器的角测量信息常伴随尖峰噪声的干扰,这在很大程度上会影响制导系统的跟踪性能。考虑到尖峰测量噪声的概率分布可以用混合分布来近似,并且系统动态过程含有线性子模型,本文引入Rao-blackwellization技术,提出了一种基于简化交互式多模型的边缘粒子滤波算法。将该算法应用于尖峰测量干扰下的被动跟踪问题,仿真结果验证了所提出算法的有效性。最后,针对随机机动战术弹道导弹(TBM)的末端制导拦截问题,利用多模型思想和基于UT变换的非线性滤波技术设计了制导跟踪滤波器。在此基础上,充分挖掘随机机动TBM逃逸策略的特征信息,引入聚合和剪裁手段简化了传统多模型算法,提出了一种快速、有效多模型自适应估计算法。