当前,火星探测器的导航信息主要依靠地面深空探测网提供,维持深空探测网的运行将花费巨大的人力和物力。为了应对将来更为密集的火星探测任务导航需求,研究火星探测器自主导航方法和理论将有助于减少探测器对地面设备的依赖,降低火星探测任务复杂度,增强探测器的自主决策与控制能力。对于我国来讲,尚未在全球完成深空探测网的布置,因此研究火星探测器自主导航技术对于我国即将实施的火星探测任务意义重大。本文主要研究火星探测器接近段、环绕段和进入段的自主导航方案。首先,针对三个导航阶段确定具体的导航方案和系统设计参数,根据导航系统可观性理论确定系统可观性优化思路和优化指标。然后通过非线性优化方法或智能优化方法求解导航系统最佳设计参数。最后,通过数值分析和导航滤波仿真对优化结果进行验证。研究了火星探测器接近段的导航方案设计,使用位置固定的表面信标和轨道固定的轨道器作为测量目标,提出具体的导航方案并确定系统设计参数。根据Fisher信息矩阵的递推更新理论,提出系统可观性度量指标并使用粒子群优化算法获得系统最佳设计参数。基于距离测量方程,根据Fisher信息矩阵可观性指标从理论上求解最佳的观测构型。通过数值仿真和导航滤波分析验证了优化结果的正确性。研究使用探测器编队实现火星环绕段自主导航,根据非线性可观性矩阵提出可观性度量指标,使用非线性优化方法求解编队构型设计参数。分别考虑单伴飞探测器和双伴飞探测器的导航方案,通过求解约束优化问题获得最佳构型设计参数。并且,针对双伴飞探测器导航方案从Fisher信息理论角度进行分析,直接得出最佳的构型设计参数。通过数值仿真和导航滤波分析验证了构型优化的结果。研究使用探测器与表面信标之间的距离和速度测量作为观测信息,分析基于三自由度再入动力学方程的导航方案中探测器各个状态可观性的变化。使用惯导(IMU)运动学方程作为系统动力学模型,分析基于IMU模型的导航方案与基于动力学方程的导航方案各自的优势。