捷联惯性导航系统(Strapdown Inertial Navigation System,SINS)是一种具有高精度、强可靠性的数学平台惯导系统,能够为运载体提供高精度的运动参数信息,而不依赖于任何外部信息,被广泛应用于航空、航天、航海、导弹等诸多领域。由于惯导系统的强非线性和不确定性等因素的存在,如何提高捷联惯性导航系统的导航精度成为国内外研究的热点问题。本文从提高导航系统精度的角度出发,结合四元数模型、高阶矩匹配、Gaussian过程建模和Stirling插值方法,针对捷联惯导系统的姿态误差模型及非线性滤波算法进行了深入系统的研究。针对四元数模型在导航解算中存在的局限性,利用对偶四元数能够将刚体的平移和转动统一描述的特性,构建了对偶四元数姿态转换模型和乘性对偶四元数误差方程。通过飞行器的姿态估计仿真验证,表明该算法在处理带有乘性误差量的姿态估计系统中的有效性。针对导航系统模型的强非线性和统计特性传递偏差的问题,利用高阶矩匹配方法精确匹配系统状态参数的预测采样点集及其权值概率分布平均偏态和峰值,提出了高阶矩匹配无迹Kalman滤波算法(High order Moment Matching Unscented Kalman Filter,HoMM-UKF),通过舰载SINS四元数姿态估计仿真验证,可知该方法具有较高的精度和数值稳定性;接着,针对组合导航系统的非线性计算复杂性的问题,利用Gaussian过程建模方法,构建Gaussian过程非参数化模型,提出了基于Gaussian过程容积Kalman滤波算法(Gaussian Process Cubature Kalman filter,GPs-CKF)和增强型GPs-CKF算法,并对其进行仿真验证,相对于传统CKF算法,增强型GPs-CKF算法和GPs-CKF算法计算效率具有明显优势。针对Krein空间中的扩展Kalman滤波算法(Extended Kalman Filter,EKF)的线性化面临的Jacobin矩阵计算问题,结合Stirling中心插值方法,提出了基于Stirling插值逼近的Krein空间EKF算法。通过速度匹配算法建立舰载体捷联惯性导航系统的传递对准模型,以主子惯导系统的速度误差量和姿态误差量作为观测数据,利用所提出的算法进行导航滤波,实现了该惯导系统传递对准的快速高精度估计。