在轨运行的航天器不可避免地受到各种干扰力矩以及其自身参数不确定性的影响,因此航天器姿态控制系统是多输入多输出、强耦合的不确定非线性系统。参数、干扰不确定性的存在使得航天器姿态控制问题进一步复杂化。因此,为了完成姿态控制任务,需要所设计的控制律具有较高的鲁棒性。本文就是在这种背景下,从理论和应用两个方面对航天器姿态控制系统的控制算法进行了深入的研究。本文主要完成了以下几个方面的工作:针对一般性不确定干扰力矩作用下的航天器姿态跟踪控制问题,基于非线性微分几何理论的反馈线性化方法设计了控制器。首先建立了航天器姿态跟踪运动学和动力学方程,然后根据该精确跟踪模型通过坐标变换和状态反馈,设计了合理的反馈线性化控制器,使得在完成姿态跟踪的同时,实现了对系统的几乎干扰解耦控制,即在L₂增益意义下实现了从干扰到跟踪误差的影响任意小,并通过Lyapunov方法证明了从干扰到跟踪误差的L₂增益可以通过调节相关参数实现任意减小,同时保证了姿态跟踪误差系统是全局一致最终有界稳定的。最后通过数学仿真验证所设计的几乎干扰解耦控制器的可行性和有效性。针对考虑惯量参数不确定性,航天器姿态跟踪控制的干扰抑制问题,设计了混合控制器。由于上述反馈线性化控制器需基于被控对象的精确模型,无法对带参数不确定性的航天器姿态跟踪控制问题实现有效高精度的控制,因此在反馈线性化控制器的基础上增加了基于辨识模型的自适应模糊控制量,形成了混合控制器。通过在线调节自适应模糊控制器的参数,以补偿具有参数不确定性和外界干扰作用的航天器姿态跟踪误差。最后仿真结果验证该控制算法有效地提高姿态控制系统的精度和鲁棒性。针对实际工程上要求控制器结构简单、精度高、且具有较好鲁棒性的情况,设计了一种基于扩张状态观测器的非线性误差反馈控制器,称为自抗扰控制器。这种控制器不依赖被控对象的精确数学模型,采用扩张状态观测器估计系统状态、模型和外界干扰,再由非线性状态误差反馈组合,并加上对干扰的补偿量,形成具有良好控制效果的控制器。最后通过数学仿真验证自抗扰控制器在解决存在非线性和耦合特性的航天器姿态跟踪控制问题上能够取得理想的控制效果。