复杂的空间任务对轨道表示，轨道预报和轨道控制等的要求越来越高。传统轨道参数在轨道表示，轨道外推等方面存在诸多不足。例如开普勒轨道要素在表示特定轨道会存在奇异性，其高斯摄动方程含有大量三角函数降低了轨道计算的效率等；笛卡尔坐标存在不能直观表征轨道几何参数的不足；轨道和姿态采用各自独立的描述方式，使用的数学工具不一样。本文针对传统轨道参数在描述航天器轨道中存在的不足，以航天器轨道动力学问题为研究背景，用单位四元数表示轨道面相对惯性系的角位置，辅以距离、径向速度和角动量等参数共同构成一组无奇异性且计算效率高的轨道参数。在此基础上研究了航天器轨道建模、轨道外推、轨道优化和轨道控制等问题，论文的主要内容如下：卫星轨道描述的是轨道坐标系相对于地心惯性系的相对运动关系，包括平移和旋转，利用轨道的旋转运动部分与刚体姿态的相似性，以四元数描述轨道面相对于惯性系的角位置，从而将四元数引入到轨道动力学中。从改进传统轨道参数不足的角度出发，分析了几组包含单位四元数在内的轨道参数。基于一组由单位四元数和径向距离、径向速度、角动量等矢量参数构成的四元数轨道要素推导了轨道动力学和运动学方程，给出了四元数轨道要素与传统轨道参数间的转换关系。研究了四元数轨道要素在轨道外推中的计算效率和精度。与笛卡尔坐标的轨道外推结果相比，四元数轨道要素的轨道外推精度更高，计算效率在同一水平。J2摄动力、连续有限推力、轨道偏心率等因素对四元数轨道要素的轨道外推精度影响不显著。在增大积分步长时，四元数轨道要素的轨道外推精度依然比笛卡尔坐标精度高，并且优势更为明显。基于四元数轨道模型研究了连续有限推力下两航天器交会的轨道优化问题，利用hp自适应伪谱法求解精度和计算效率高的特点给出了轨道交会的时间最优解。与传统轨道参数相比，本文给出的轨道要素在轨道优化中的求解效率要低于笛卡尔坐标，但高于开普勒轨道要素。基于四元数轨道模型和李亚普诺夫稳定性分析方法研究了连续有限推力下航天器交会引导段的控制律设计，给出了一种可行的反馈控制律，该控制律以偏差四元数等参数作反馈量。为缩短交会时间和减少燃料消耗，对控制律中的增益系数进行了优化。仿真结果表明该控制律能在推力幅值有限的条件下完成航天器轨道交会引导段的任务。