从20世纪80年代美国军方提出现代小卫星的概念以来,现代小卫星由于具有重量轻、性能好、研制周期短、造价低等优点,成为目前航天器发展的一个重要方向。姿态控制系统是小卫星完成各种任务的基本前提,是小卫星的关键技术和研究重点。本文主要针对小卫星姿态控制系统进行了研究。首先给出了欧拉角和姿态四元数的相关理论,系统的总结了欧拉角和四元数两种卫星姿态描述方法,建立了小卫星动力学、运动学模型。针对目前运用于小卫星姿态控制系统研究的滑模变结构控制方法和自适应控制方法进行了改进,并将两种方法结合起来进行了研究。并分别用Matlab实现仿真验证。针对小卫星运动时存在参数摄动,非线性强的特点,设计滑模变结构控制器:选取适当的滑模向量使滑动模态渐近稳定;设计滑模控制律,保证系统状态在有限时间内运动到滑动模态上。用饱和特性取代开关项以减小振颤。针对用四元数法建立的小卫星姿态动力学及运动学方程有强的非线性耦合,设计了一种基于反馈线性化的模型参考自适应姿态控制器。首先运用反馈线性化方法,将小卫星姿态通道线性化解耦成三个单输入单输出系统,然后运用基于李雅普诺夫稳定性理论的模型参考自适应控制方法对每个系统分别设计自适应控制器,使非线性系统跟踪线性参考模型系统、实现对参数摄动和外部扰动的鲁棒性、跟踪预期的姿态。进一步设计了一种基于滑模变结构和参数自适应算法的姿态控制器:对前面设计的滑模变结构控制器进行了改进;同时针对由于外界影响造成系统参数难以确定的问题,引入了系统参数自适应算法。改进的控制算法能够使得系统在参数不能确定的情况下仍能保持良好的稳定性。