近年来,小行星探测受到了极大的关注,各航天大国纷纷实施或制定了各自的小行星探测任务,这些已经实施或计划中的航天任务推动了天体力学中一个崭新领域---近小行星航天器轨道动力学问题的研究。小行星质量小、形状不规则、自旋复杂等特点使得近小行星区域内航天器轨道动力学与传统的大行星引力场中航天器轨道动力学存在很大差异,因此以大行星航天器轨道为背景建立的传统轨道理论无法准确地解决近小行星航天器轨道动力学问题。近小行星航天器轨道动力学问题的研究,须对传统方法做适当的改进或引入新的研究方法。本学位论文针对近小行星航天器轨道动力学及其在引力拖车中的应用问题进行了研究,主要研究内容包括以下几个方面:首先,对不规则小行星引力场建模问题进行了研究,总结了常用的小行星引力场建模方法及特点。球谐函数模型因缺少绕飞轨道数据难以得到精确的球谐系数,而多面体模型方法仅能给出数值结果而不便于进行轨道分析和设计。为解决以上问题,提出一种基于多面体模型方法的不规则小行星引力场球谐系数确定方法,此方法结合了多面体模型法与球谐函数法的优点,以小行星的形状数据作为确定其引力场球谐系数的信息源,可以充分利用地面天文观测或已有掠飞任务所拍摄的小行星形状信息,因此能够在小行星探测任务发射前获得较高精度的引力场球谐系数。然后,对质量较大小行星平衡点附近的轨道进行了研究,为研究环绕小行星平衡点轨道运动的特性,提出基于一阶解析解的绕小行星平衡点轨道运动研究方法。该方法在对扰动方程(平衡点附近的运动方程)线性化的基础上求出其一阶解析解,并由此解析解分析了稳定与不稳定平衡点附近的轨道运动特点。针对不稳定平衡点附近的轨道给出一种基于小推力发动机的轨道保持控制律,该控制律可以使航天器运动在由一阶解析解给出的标称轨道附近。为确定稳定平衡点附近稳定区域的大小,本文采用1:1轨道共振理论推导了稳定区域宽度的公式。随后,对环绕小行星平衡点运动的特殊三维周期轨道(halo轨道)进行了研究,由于平衡点附近强烈的非线性影响,解析法很难确定halo轨道,而数值搜索算法对初始猜值的要求很高,难于收敛。为解决上述问题,求得绕高阶引力场平衡点运动的halo轨道的精确解,提出了一种基于三阶解析解的环绕小行星平衡点halo轨道混合搜索算法,该算法先应用Lindstedt-Poincaré方法求解halo轨道的三阶解析解,再应用微分校正方法修正三阶解析解给出的轨道初值,得到halo轨道的精确数值解。本文方法结合了解析法与数值法的优点,因而既具有较高的计算效率又可以保证算法的收敛。最后,分别对二体系统及三体系统中的偏置轨道进行了研究。对二体系统中的悬停轨道分析表明,引力拖车在工作过程中燃料消耗引起的质量减小会造成其轨道失稳。为保持引力拖车轨道的稳定,本文提出了三种解决方法并分析了三种方法的轨道特点,比较了三种方法对小行星牵引效果的影响。为确定太阳-小行星-航天器三体系统中是否存在盘旋轨道,提出一种基于平均化思想的盘旋轨道研究方法,该方法采用考虑小行星引力的Hill方程来描述三体系统中引力拖车的轨道,并应用平均化方法处理运动方程消除快变量从而得到三体系统中盘旋轨道的平均解。此平均解既可以确定盘旋轨道又可以分析盘旋轨道的稳定性和稳定区域等问题。