航天器姿态与轨道运动的动力学建模与控制方法决定了空间任务的成败,姿轨控制在空间近距离交会对接、目标监视、在轨服务等空间任务中扮演着重要角色,传统将姿态轨道运动分别单独建模、独立控制的模式无法充分考虑平动与转动运动的耦合影响,无法满足某些任务对位姿控制的高效性与高精度的需求。因此,航天器姿轨一体化建模与高效率高精度控制方法,对于航天器近距离操作任务具有重要的理论意义与工程应用价值。本文对航天器姿轨一体化相对运动的建模方法与控制算法的应用展开研究,主要内容包括:（1）针对航天器姿轨一体化动力学建模与控制问题,在李群SE（3）框架内,基于现有的航天器姿轨一体化质心相对运动动力学模型,推导了非质心点相对运动动力学模型。设计了一种基于Morse-Lyaponov函数的位姿误差变量,并证明了这种位姿误差形式的合理性。相比于对偶四元数,SE（3）矩阵用于描述位姿具有唯一性,能够避免姿态控制的退绕现象。（2）针对航天器近距离相对位姿跟踪任务,研究了自适应有限时间控制算法在航天器姿轨一体化控制系统中的应用。考虑航天器模型参数不确定性和外部扰动影响,基于终端滑模与趋近律方法,设计了快速幂次有限时间、双幂次固定时间、修正双幂次固定时间控制算法,其中修正固定时间控制算法基于本文提出的一种新型双幂次组合函数趋近律算法。同时,运用自适应方法对航天器惯性参数与外部扰动进行估计,运用二次Lyapunov函数方法证明了三种控制算法作用下闭环系统的稳定性,通过数值仿真验证并对比了控制方案的有效性。（3）针对航天器近距离相对位姿跟踪任务,研究了自适应高阶滑模技术在航天器姿轨一体化控制系统中的应用。首先基于等效控制概念,提出一种改进的变增益固定时间广义超螺旋算法,并提出一种新型增益参数双层自适应律,运用Lyapunov函数方法及齐次性方法证明了广义超螺旋算法的固定时间收敛性,另外还证明了双层自适应律作用下的变增益参数的有界性;接下来,将自适应广义超螺旋算法应用于一阶扰动系统的干扰估计,与同类方法进行对比,证明了所提出算法的有效性与优越性。然后,将变增益广义超螺旋算法应用于航天器位姿跟踪控制系统,设计了两种控制方案。一种是基于自适应干扰观测器的自抗扰固定时间控制方案,另一种是自适应固定时间二阶滑模控制方案。最后通过数值仿真验证了两种控制方案的有效性,仿真表明自抗扰控制方案能够对系统干扰进行精确估计,实施有效补偿;自适应二阶滑模控制方案能够有效抑制系统中的各种不确定性影响并减小控制输入,从而减少能量消耗,但并不影响收敛时间。（4）针对两航天器的非质心点对接任务,研究了无速度测量的反馈控制问题,基于齐次性方法设计了两种有限时间输出反馈控制方案。第一种方案,基于高阶滑模技术设计了一种三阶扩张状态观测器,同时对系统的速度量与集总干扰进行估计,与同类算法相比,具有更好的瞬态性能与稳态精度;基于非奇异终端滑模面与齐次性方法设计了一种二阶滑模自抗扰输出反馈控制器;第二种方案,在一种变增益超螺旋算法基础上设计了一种自适应速度观测器,利用非奇异终端滑模面与齐次性方法设计了一种终端滑模控制器。有限时间观测器的应用有效解决了速度量的快速估计问题,通过数值仿真验证了两种观测器的观测精度与收敛快速性,及其对航天器位姿闭环控制系统的影响。（5）针对考虑执行器特性的航天器位姿跟踪控制任务,研究了航天器的最优控制问题。首先根据Sontag逆最优形式设计了一种线性形式的逆最优反馈控制律,然后考虑到一般逆最优反馈律控制精度不高,利用终端滑模的强鲁棒性特点,提出一种终端滑模形式逆最优反馈控制律,理论上比一般逆最优反馈控制律精度更高。另外,设计扰动观测器对系统集总干扰进行估计并补偿,以提高逆最优控制律的鲁棒性。最后通过数值仿真验证了两种逆最优控制算法和抗干扰逆最优控制算法的有效性。