21世纪以来,随着航天技术的快速发展,人类在空间活动中的探测距离越来越远,燃料逐渐成为深空探测任务能否顺利完成的关键因素。近些年,人们提出以太阳帆和电动帆为代表的新兴航天器,分别由太阳光压和太阳风动能作为动力源而不消耗任何推进剂,因此非常适用于深空探测任务。太阳帆和电动帆的出现使得航天器可以运行在非开普勒轨道上,能够为通信中继、空间物理研究和天文观测等空间科学任务提供理想平台,引起了国内外科研机构和专家的重视。本文针对日心悬浮轨道和平动点轨道两大类非开普勒轨道附近的相对运动动力学与控制问题展开研究,主要工作包括:1)太阳帆日心悬浮轨道及其附近的协同编队研究。首先分析了每一类太阳帆圆形日心悬浮轨道及其稳定性。然后对于椭圆的情形,基于反射比调节装置(reflecitvity control device,简称RCD)太阳帆给出了行星同步悬浮轨道的形成条件,以及在最大帆面反射比限制下可行的悬浮轨道参数集。提出将多个太阳帆部署在椭圆悬浮轨道附近进行协同编队,以代数图来表征编队系统的内部通信拓扑。针对状态信息完全可知和无速度测量信息两种典型情况分别提出多太阳帆协同编队的分布式控制策略,使得各太阳帆不仅最终能够成功跟踪期望轨迹,又可以在暂态转移过程中保持同步。2)电动帆日心悬浮轨道及其附近的协同编队研究。首先对电动帆现有的推力矢量模型—幂次反比模型、6次多项式插值拟合模型,以及几何解析模型进行了归纳总结。给出了电动帆行星同步悬浮轨道的形成条件和轨道参数可行域。针对无向和有向通信拓扑,基于二阶一致性理论分别提出了多电动帆协同编队的分布式控制策略,并对电动帆编队中心是否预先指定分别进行探讨。结果表明,通过局部状态信息交互,编队电动帆能够实现对期望轨迹的一致性追踪。3)日心悬浮轨道之间相对运动的几何拓扑研究。提出“悬浮轨道要素”,对悬浮轨道上的航天器运动进行参数化表征。基于悬浮轨道要素并通过坐标转换获得日心悬浮轨道之间相对运动的闭合解。分析了相对运动的几何拓扑结构,以解析(半解析)的思路分别求得频率通约和非通约相对运动的边界极值。对于小偏心率的近距离编队,分析了悬浮轨道之间相对运动的空间构形。4)平动点附近连续小推力航天器的自适应协同编队研究。首先依据经典3阶解析解提供的初始猜想,利用微分修正算法数值求解获得平动点附近的Halo轨道。然后基于最小二乘法对Halo轨道进行高阶傅里叶近似,并且作为多航天器协同编队的参考轨道。针对无速度测量信息和质量存在不确定性两种典型情况,基于一致性协同算法分别提出了相应的的自适应控制策略。航天器不仅实现对期望编队构形的同步追踪,还保证了燃料消耗的均衡性,有助于延长编队任务寿命。