航天器的姿态控制系统是整个航天器系统中的一个非常重要的子系统,其设计的好坏直接影响到航天器总体下达的性能指标能否满足。在轨运行的航天器都承担一定的探测、开发和利用空间的任务,在这些任务中,往往需要姿态在达到稳定或跟踪的同时,满足过程中所需要的燃料最少、或是时间燃料消耗综合最优等各种要求,航天器姿态的最优控制在完成这些要求中起着重要作用,在近年来备受关注。由于航天器姿态控制系统是一个多输入多输出、耦合的不确定非线性系统,使得最优控制在该问题的解决上变得尤其复杂和困难,同时在轨运行的航天器不可避免地受到各种干扰力矩的影响,在实际中难以得到满意的最优控制性能。本文就是在这种背景下,从理论和应用两个方面对航天器姿态控制系统的最优控制算法进行了深入的研究,并将提出的最优控制方案用于某型在研航天器的姿态控制中。主要完成了以下几个方面的工作:针对航天器姿态机动时间最优控制问题,提出了基于伪光谱算法的时间最优控制器,首先分别设计了基于Legendre伪光谱算法和Gauss伪光谱算法的时间最优开环控制器,应用Pontryagin极小值原理证明了其开环解的最优性,其次,应用Bellman最优性原理对开环控制器进行改进,设计了闭环时间最优实时控制器,不仅完成了机动任务,而且具有较强的鲁棒性。针对航天器姿态二次型最优跟踪控制问题提出了一种新的非线性最优综合控制方法,θ-D方法,在求解HJB方程基础上,通过引入中间变量θ,性能指标扩展为一组θ的幂级数。HJB方程简化为一组递归的代数方程,求得一个有限项的闭环控制器。通过增加插入项,可以保证级数的收敛性以及系统的全局渐近稳定性,同时,克服了其他幂级数展开方法引起的初始力矩较大的问题,并能通过调整插入项的参数灵活地调整系统的暂态响应。研究了一组仿射非线性方程的协同控制的最优化问题,借鉴了滑模变结构控制中滑模面的思想,设计了新的协同控制方程,并验证了其满足最优控制的充要条件,此控制方法结合了滑模控制与最优控制的优点,同时改善了滑模变结构控制中的不连续产生的抖振现象。实现了航天器姿态跟踪时变参数的控制,并具有较强的鲁棒性。