目前,高超声速临近空间飞行器由于其快速响应和精确打击等优点受到各国的巨大青睐,但同时也对各国空域造成巨大威胁。为了实现对这类飞行器的有效防御,需要寻找一种能够提高反临近空间飞行器的拦截弹响应速度的控制方法。本文以一类采用质量矩/直接力复合控制的高超声速旋转弹为研究对象,主要围绕其姿态控制方法展开研究。首先,根据多刚体动力学原理和牛顿定理,在准弹体坐标系下建立了质量矩/直接力复合控制旋转弹的动力学模型,并在一定的假设条件下对模型进行简化,得到了复合控制系统姿态动力学的状态空间方程。采用非线性动态逆和时标分离相结合的方法设计了其非线性动态逆复合控制器。其次,针对控制力矩分配问题,研究了基于动态逆控制模型的非线性分配算法、链式递增分配算法和改进式链式递增分配算法。对比讨论了三种分配算法对复合控制系统性能的影响,发现改进链式递增分配算法更适合非线性动态逆控制器。仿真结果证明了动态逆控制器和改进链式递增分配算法的有效性。最后,分析了系统扰动的来源与影响,设计了扩张状态观测器对系统的扰动进行观测,并根据扩张状态观测器的输出对系统进行了相应的扰动补偿。数值仿真结果表明扩张状态观测器对扰动的观测效果及对系统的扰动补偿效果均较好。