新世纪以来,以大、小天体探测为代表的深空探测新热点逐渐兴起,深空探测技术研究与计划实施迎来新的高潮。深空探测任务的远距离导致较大的通讯延迟,靠地面测控站与深空探测器进行远程通讯,已经不能满足深空探测的任务要求。自主导航技术必将取而代之,成为二十一世纪深空探测领域的关键技术之一。本学位论文结合“十五”863计划项目——“深空探测器自主导航技术”,分析了深空探测自主光学导航的背景及国内外发展现状,研究了一系列非线性滤波算法在自主光学导航技术中的应用。论文的主要内容包括:首先,在综合分析大量有价值的参考文献的基础上,介绍了自主光学导航系统的研究意义、背景、国内外的发展现状;结合深空探测以及自主光学导航的任务流程,对光学导航原理进行简要分析;针对深空探测不同的任务阶段,介绍了相应的轨道动力学模型,并给出了各自的导航方案;对深空探测的观测模型建立过程进行了必要的说明,为下一步自主光学导航非线性滤波算法研究打下良好的基础。其次,针对深空探测任务实时性要求较高,数据运算量大,而星载计算机运算能力有限的问题,在黄道坐标系中引入柱面坐标系,将TSS-EKF算法应用到自主光学导航中,减少了状态量和观测量的耦合关系,避免了繁杂的矩阵运算,提高了状态估计的实时性。同时,改进了接近段轨道动力学模型,在一定程度上提高了模型精度;结合接近段轨道动力学模型,将一种改进的UD-EKF算法在光学导航中加以应用,并与传统的EKF滤波进行了比较,仿真结果优势明显。最后,针对单一系统使用多种传感器这一特定问题进行研究,将信息融合滤波引入到自主光学导航系统中。为了减少运算负担、避免高维运算和大的空间存储,用UD分解优化信息融合滤波,提高了收敛速度。同时,引入状态方程的一阶泰勒展开式,分析了滤波周期对状态方程可观性的影响。通过仿真,验证了优化算法的有效性。