在航天器控制研究问题中，3D刚体摆是地球静止轨道(GEO)航天器的一种简化模型，可以描述为一个绕固定支点旋转的刚体，且支点无摩擦。作为广义的刚体模型，3D刚体摆具有十分丰富的非线性动力学特性。依据3D刚体摆在欠驱动情况下姿态稳定性控制的相关问题，分析了3D刚体摆的数学模型，并对其姿态进行约化得到姿态约化方程。对于3D刚体摆的运动学方程，为避免奇异现象和一些复杂的三角函数运算，引入四元数方法对其运动学模型进行了描述。　　本文利用分层滑模控制方法实现了3D刚体摆的姿态稳定性控制。根据3D刚体摆的约化姿态模型建立滑模面，设计相应滑模控制器。利用Lyapunov稳定理论并结合拉萨尔不变集原理对其进行了稳定性分析，给出了基本滑模控制器渐近稳定的充分条件。针对另一切换函数设计了分层滑模控制器，该控制器的滑动平面是双层结构，利用Lyapunov方法得到系统总控制量，并采用Barbalat引理分析了各层滑动平面的渐近稳定性。　　退步控制方法首先给出动力学子系统的镇定控制律，设计中间控制律使航天器欠驱动轴角速度收敛到平衡位形，然后再设计控制律使驱动轴的角速度达到稳定状态，之后用退步方法对系统进行姿态控制律的设计，最后根据Lyapunov稳定性定理证明系统的渐近稳定性。基于Matlab对系统进行仿真实验，实验结果表明两种控制方法均可以使3D刚体摆在悬垂和倒立状态达到渐近稳定。