小行星探测对于揭示太阳系起源和监测对地球潜在威胁的小天体具有重要意义,成为21世纪深空探测领域的重点发展方向。精确自主导航是未来小行星探测器在绕飞和变轨等接近段中顺利开展任务必不可少的技术。基于惯性测量单元和导航相机的视觉辅助导航具有精度高和自主性强的优点,在小行星探测中有广泛应用前景。对于具有强非线性的视觉辅助导航系统而言,其导航精度很大程度上取决于用于融合视觉和惯性导航测量数据的非线性滤波算法。本文以小行星绕飞探测为背景,对视觉辅助导航系统的滤波方法进行深入研究,主要内容包括:给出了惯性导航系统与视觉导航系统的量测模型和基于位置几何精度因子的视觉导航陆标点选取法,建立了视觉辅助导航系统的状态传递方程和量测方程。使用扩展卡尔曼滤波实现视觉量测信息对惯性导航误差的修正,估计出探测器相对于小行星的位置、速度和姿态。开展数学仿真验证了视觉辅助导航模型和视觉导航陆标点选取法的正确性和有效性。为了提高导航滤波器的估计精度和收敛速度,引入了确定性采样非线性高斯滤波来处理非线性系统状态估计问题。根据Genz积分法和矩匹配推导了基于五阶球面-径向容积准则的高阶容积卡尔曼滤波（HCKF）,采用多变量函数泰勒级数展开和计算复杂度在估计精度和计算量两方面综合评估了HCKF、容积卡尔曼滤波（CKF）和高斯厄米特积分滤波（GHQF）三种非线性滤波算法的性能,理论分析表明HCKF的估计精度与GHQF相当并高于CKF,同时计算量远小于GHQF。设计了基于高阶容积卡尔曼滤波的视觉辅助导航滤波器。通过仿真,证实了HCKF是一种兼具估计精度和计算效率优势的非线性高斯滤波算法。受不同光照条件等因素的影响,导航相机量测噪声往往呈协方差未知受污高斯分布。针对量测噪声协方差未知的情况,在共轭指数域中,分别用Gaussian分布和Inverse Wishart分布对系统状态和量测噪声协方差进行建模,采用变分贝叶斯理论实现对系统状态和噪声协方差的递推估计。为了抑制非高斯噪声对系统状态和量测噪声协方差估计的影响,对Huber提出的广义极大似然估计技术进行研究,利用Huber技术对非线性高斯滤波的更新过程进行修正,推导了变分贝叶斯自适应高阶容积Huber-based滤波（VBAHCHF）。设计了基于VBAHCHF的视觉辅助导航滤波器,最后通过数学仿真验证了协方差未知受污高斯噪声情况下VBAHCHF在自适应性、鲁棒性和估计精度上的优越性。另一方面,由于导航系统与星载计算机之间的串口转换等因素,传输到数据融合中心的视觉量测数据可能会随机延迟多个采样周期。为解决这种情况下的估计问题,利用多个伯努利随机变量构建实际接收量测和理想量测之间的关系,建立了多步随机时延非线性系统。通过边缘化延迟变量以从带有随机时延的量测中提取准确的信息来计算滤波器的似然函数,推导了多步随机时延高阶容积卡尔曼滤波（MRD-HCKF）。将基于变分贝叶斯理论的量测噪声协方差在线估计和基于Huber技术的鲁棒估计嵌入到MRD-HCKF中,提出了一种多步随机时延变分贝叶斯自适应高阶容积Huber-based滤波（MRD-VBAHCHF）。最后,设计了基于MRD-VBAHCHF的视觉辅助导航滤波器,并通过数学仿真验证了在系统量测带有多步随机时延和量测噪声呈协方差未知受污高斯分布情况下MRD-VBAHCHF的性能优于HCKF、MRD-HCKF和VBAHCHF。