随着对近地空间的进一步开发和利用,航天器在各行各业中都体现了其充足的价值。空间在轨服务可以对航天器太空活动的有效助力,同时随着技术发展具备可实施性。而面对日益复杂的服务需求,以多个航天器以编队形式协同完成任务而非以单一航天器独立作业,因其可有效的节约成本、具备良好的可靠性能、以及较高的灵活性等优势收到广泛的关注。本文着眼于相对距离较近、对编队队形有需求的航天器编队系统控制问题,分别考虑对合作目标和非合作目标的情况,研究航天器编队控制律的设计方法。主要研究内容如下:轨道动力学作为航天器编队合围控制设计的基础,首先对其进行分析建模。介绍了航天器编队时所需要运用的参考坐标系;引入代数图论方法,建立编队中的航天器之间的联系,基于两个航天器之间的相对轨道动力学模型,构建了航天器编队相对轨道误差模型,用于不同任务需求下的航天器编队控制律设计问题。针对合作目标的编队最优合围控制问题,采用近似最优方法以解决航天器编队动力学因非线性本质致使的HJB方程难以求解的问题。介绍了自适应动态规划对调节问题和跟踪问题的常用解决方法。而后,为了实现最优合围,将PD鲁棒项与自适应动态规划结合,设计了对应的性能函数与控制律;进一步地,针对带有输入约束的控制器设计,给出了一种非二次型形式的控制律相关性能指标,采用单神经网络完成了控制器设计。针对非合作目标,分别考虑其是否具备机动能力的情景实现有限时间合围。首先对非合作目标不存在机动能力的情况进行讨论,给出了快速终端滑模控制方法。对于非合作目标具备机动能力的情况,提出了“预分析-观测-控制”的方案。通过给定时长的轨道递推分析其最终可达域,基于阿波罗尼奥斯圆及拓展理论,给出以成功完成合围为目的的初始条件设置思路;而后针对未知目标机动控制输入的情况,设计了一种扩张状态观测器以观测该信息;最后在控制律设计中利用观测得到的信息进行补偿,完成控制器设计。在合围过程中,考虑编队的成员航天器之间避免碰撞的需求,设计了一种新的斥力势函数,将斥力势函数纳入滑模面的设计中,提出了一种对应的控制律。