基于贝叶斯估计原理的滤波器具有算法实现简单、滤波精度高、收敛性好等优点,正逐渐成为当前及未来非线性估计理论研究热点和重点之一。本文围绕水下潜器组合导航系统对状态估计器的应用需求,系统开展变分非线性滤波方法研究,论文的主要研究工作归纳如下:针对水下潜器组合导航的特点,建立其状态估计模型,并通过前向科尔莫格洛夫方程给出模型求解的弱解方程(即随机微分模型)。由此提出利用变分解法探索滤波器设计的思路。针对低维状态空间,尝试采用三次样条插值和双二次插值方法逼近一维系统和二维系统的状态概率解,并给出了理论推导和算法流程,分析了算法的计算复杂度与收敛速度。仿真实验采用非线性系统模型评价插值方法的性能,实验结果显示插值稳定性好,插值结果与目标曲线吻合度高,即插值方法可以很好的跟踪系统状态的变化,且与粒子滤波算法相比估计精度高,仿真结果验证了插值方法在低维状态空间中逼近随机微分模型概率解的可行性。针对高维状态空间系统,提出一种基于有限元递推估计的非线性滤波方法(Finite Element Method based Filter,FEMF),利用区域剖分和分片插值思想,理论推导出在函数空间中逼近导航状态概率解的过程,并对算法的收敛性、收敛速度和计算复杂度进行了数学分析。通过与扩展卡尔曼滤波、无迹卡尔曼滤波、粒子滤波算法的对比分析实验,表明有限元方法可以提高滤波估计精度。通过仿真验证该方法较粒子滤波算法具有更好的性能。针对FEMF方法实时性不高的问题,提出一种基于Yau-Yau Method与有限元相结合的混合滤波算法。该算法利用Yau-Yau Method估计形函数构造模型中的估值点,再用有限元估计系统状态概率解,有效地提高了算法的运行效率。该方法与FEMF方法相比极大地降低了算法计算量,并且编程实现较有限元方法简单。采用非线性非高斯系统模型进行仿真实验,仿真结果显示YY-FEMF方法更适合处理目标跟踪等对实时性及精度要求较高场合下的非线性非高斯状态估计问题。针对FEMF方法对插值函数的光滑性限制,提出一种基于Hermit基函数的投影滤波算法。该算法可以建立一个在整个连续空间具有高阶微分导数性质的插值函数,且在求解过程中不涉及矩阵和积分运算,极大地减少了计算量,提高滤波算法的实时性,并且从理论上分析了算法的收敛性。仿真实验中采用两个非线性模型,给出投影滤波与扩展卡尔曼滤波、无迹卡尔曼滤波、粒子滤波算法对比分析实验结果,表明算法有效地提高了滤波估计性能。论文最后选择惯性/地形、惯性/地磁两种应用于水下潜器的新兴组合导航模式进行滤波算法性能评估,仿真结果表明本文提出的方法均具有较好的输出精度和应用效果。