随着美国“发现计划”和日本MUSES-C计划的顺利进行，旨在揭示太阳系成因和生命起源的小行星探测活动越来越受到各国重视，成为了深空探测活动的一个重要分支。小行星探测器着陆段具有动力学环境复杂，与地面控制站距离远，通信延迟大，要求着陆精度高等特点，对探测器的制导与控制能力，特别是自主导航能力提出了很高的要求。对自主导航方法的研究成为了小行星探测研究的重要课题。本文以小行星探测任务中着陆段为研究背景，对自主光学导航方法进行了研究。首先介绍了光学导航方法的测量模型，以及利用导航相机和测距仪组合的基于矢量测量导航的相对位置姿态确定方法，同时给出了小行星表面光学特征点的提取方法。针对基于矢量测量的光学导航方法在测量大噪声的情况下导航精度低的问题，对导航滤波方法进行了研究。建立了小行星探测器着陆段动力学方程后，设计了基于EKF和UKF方法的导航滤波器，对系统状态进行估计。针对着陆过程中测距仪噪声为时变噪声的特点，设计了基于简化的Sage-Husa自适应滤波方法的导航滤波器。以Eros433小行星探测为例，通过建立引力场模型和制导律，对各种滤波方法进行了仿真对比分析。针对基于矢量测量的光学导航方法测距仪定位精度低的问题，对基于视线测量的相对导航方法进行了研究。这种方法在获得小行星表面特征路标视线角信息后，利用非线性估计理论和导航滤波算法来确定探测器的相对位置，速度和姿态。针对高斯最小二乘微分修正算法（GLSDC）计算量大的缺点，利用参考特征点相对距离在不同参考系下不变这一几何关系，提出了一种位置姿态解耦算法。仿真结果表明，这种方法与GLSDC算法相比，在保证导航精度不变的前提下，能够减少单次位置姿态的解算时间，可以提高导航的实时性。