对于提高未来空间探索能力和军事防御能力，近空间飞行器（near space vehicle, NSV）具备重要的战略价值，对其开展研究工作有着深远的意义。由于飞行任务的要求和工作环境的限制，近空间飞行器在高超声速飞行时，系统将具备强烈的非线性、快速的时变性、强耦合和不确定性，这对飞行控制系统的设计带来了很大的挑战。本文针对这一问题，分别就运动数学建模、协调控制思路分析、非线性鲁棒自适应控制设计等展开了相应的研究工作。首先，在分析了高超声速流动特性和近空间大气物理特征的基础上，对采用带翼锥形体构型的近空间飞行器所受飞行力学情况进行系统的分析，推导出其在变化风场下6-自由度12-状态运动方程，并对其开环控制特性以及不确定和外干扰对其运动特性的影响进行了深入的分析，论证了飞控系统所呈现的严重非线性、激烈快时变、强耦合和不确定性这四大特点和挑战。在此基础上重点研究了不同任务下NSV的协调控制和鲁棒自适应协调控制问题。其一，在所建模型的基础上，提出了近空间飞行器姿态运动协调控制的设计方法，将非线性广义预测控制（NGPC）方法用于系统的协调控制器设计中，通过理论分析和仿真验证表明了该种方法来解决姿态运动协调控制问题的优化性能。随后，分别设计了基于滑动模干扰观测器的非线性广义预测控制和基于在线支持向量回归机的非线性广义预测控制来实现近空间飞行器姿态运动的鲁棒自适应协调控制，采用Lyapunov方法对这两种方案的闭环稳定性进行了分析，仿真结果验证了其良好的控制效果。其二，基于飞行/推进一体化设计思想，提出了通过综合气动舵面和发动机推力的协调控制来实现对纵向轨迹的跟踪，将所设计的滑动模广义预测控制（SGPC）用于纵向运动飞行/推进协调控制器的设计中，通过理论推导和仿真分析验证了其非线性优化性能和一定的鲁棒性。进一步，针对近空间飞行器纵向运动的飞行/推进鲁棒自适应协调控制，提出了基于有限样本在线SVR的滑动模广义预测控制和模糊自适应滑动模广义预测控制方法，来完成对飞行速度和飞行高度的鲁棒跟踪。通过Lyapunov方法进行了闭环性能分析，仿真得到了满意的控制效果。其三，基于分层递阶控制的思想，提出了NSV纵向运动的姿态/轨迹协调控制系统的设计方法。采用非线性广义预测控制和改进型滑动模干扰观测器设计了该系统各回路的非线性控制器和鲁棒自适应控制器，对控制性能进行了理论分析和仿真验证，达到了保证姿态平稳的状态下的轨迹控制这一要求。最后，对全文工作进行了总结和展望。