随着卫星技术的发展,人们的视线从近地空间转向了深空探测。卫星编队由于其成本低、可靠性高并能构成大基线的特点,成为深空探测的热点。而相对导航技术是其关键技术之一,是实现编队任务的前提。考虑到深空探测编队飞行中无法利用地面信息进行实时导航,本论文研究了基于星间测量信息的相对导航方法,同时考虑条件限制,只利用有限弧段的测量信息实现相对状态估计。在其基础上,通过对滤波算法的改进以及多测量信息的引入,来提升导航系统的各方面性能。论文的主要研究内容如下:针对大偏心率的椭圆轨道编队,推导建立线性化运动模型和非线性运动模型。研究最小方差估计和贝叶斯估计原理,以及基于两种原理的卡尔曼滤波和扩展卡尔曼滤波算法。建立了测距测角信息的观测模型,通过分析该模型的噪声分布特性,可以对最优测量弧段进行选取,并通过仿真验证了噪声分布影响估计精度分布。考虑到相对运动模型是非线性的,为提高滤波估计精度引入了容积卡尔曼滤波(Cubature Kalman filter,CKF)算法,同时分析了影响扩展卡尔曼滤波(Extended Kalman filter,EKF)估计精度的因素,提出了改进CKF算法。仿真结果表明,对于该相对导航系统,改进CKF估计精度更高,并且计算量与CKF相比有了减少。考虑出现噪声干扰使得模型失配的情况,需要提高滤波的鲁棒性。对此研究了强跟踪滤波算法(Strong tracking filtering,STF),通过其正交性原理,得到了单渐消因子和多渐消因子算法,并将其原理推广到CKF框架。用同样的原理对上一章提出的改进CKF算法进行强跟踪化,得到改进强跟踪容积卡尔曼滤波算法。仿真结果表明,该改进算法具有很好的鲁棒性。为提高导航系统的容错性,使其在部分传感器故障导致测量信息缺失的情况下仍能实现导航功能,因此加入AFF(Autonomous Formation Flyer)量测系统。对该测量系统建立观测模型,通过对测量信息进行转换,实现了基于AFF信息的相对导航算法;研究了联邦滤波算法,将测距测角信息与AFF信息进行融合,仿真结果表明该方案可行;在联邦滤波中加入故障诊断处理系统,对故障信息进行实时检测并剔除,防止故障信息的污染,提高导航系统的容错性,通过仿真验证了其可行性。