卫星姿态控制是航天工程中非常重要的环节之一,是指按照预定的目标姿态使卫星运动到目标姿态,并且控制还应满足具有一定的鲁棒性、抗干扰能力,有的控制任务还存在状态等各种约束。卫星本身具有非线性、参数耦合等导致建模比较困难的因素,所以鉴于此,本文利用深度强化学习算法为卫星姿态了一种不依赖于卫星精确模型的控制器。针对该问题,本文基于深度强化学习控制思想,以卫星姿态控制为蓝本,研究深度强化学习算法在控制领域的应用。首先在第二章给出了基于四元数的卫星姿态动力学和运动学模型,并在此基础上推导了基于误差四元数的运动学方程,意在指出卫星姿态机动控制可以抽象为输入到固定输出的映射关系,为该问题可用强化学习算法来解决提供了理论基础。并且搭建好的模型为第三章第四章的仿真实验以及控制提供了基础理论。接着本文介绍了模型辨识网络,为了更好将深度强化学习应用在某未知的模型中,并提高数据在深度强化学习算法中的利用率,本文首先进行模型的非参数辨识,在神经网络的选择上,本文比较了BP神经网络和RBF神经网络拟合的效果,最终选择了泛化能力更好的RBF神经网络。再次介绍了强化学习发展的脉络,并重点介绍了深度确定性策略梯度类的算法。本文拟将采用深度确定性策略梯度(DDPG)算法对卫星实现姿态控制,并且给出了相关的改进方案,结合学习好的RBF神经网路,寻找最优的控制策略。并在该章节给出了基于模型的DDPG算法的整体框架,同时又给出了训练结束的标志,即结合相关的测试集来保证模型的收敛性。最后文章对DDPG算法和传统的PID算法的控制效果进行了对比,也对DDPG算法在状态约束情况的进行了仿真验证,以及DDPG算法的稳定性分析和收敛性分析。为了让控制器训练的更好,本文结合已有被控对象的先验知识,将DDPG用于对PID控制器的参数优化。同时,本文给出了深度强化学习算法应该改进的方向。