要保证小天体探测器在进行绕飞探测时获得准确的先验信息,就必须保证高精度的轨迹跟踪控制。在绕飞段,探测器会受到外部复杂深空环境下太阳光压以及非球形引力等各种未知周期性扰动和非周期性扰动影响,这使得小天体探测器轨道跟踪控制具有多源扰动、动力学环境未知、多重约束等特点。本文针对小天体探测器的强非线性、强耦合以及深空不规则引力场和空间摄动作用等导致轨迹跟踪控制精度不佳、鲁棒性差和响应速度慢的问题,基于绕飞段的周期性运行特点,利用在轨运行数据,开展探测器深空绕飞段的轨迹跟踪控制方法研究。具体如下:（1）针对小天体探测器在绕飞段受到深空环境不确定因素、测量参数、系统自身参数摄动等非周期性扰动影响轨迹跟踪控制鲁棒性的问题,设计了一种自适应控制律和动态面技术相结合的滑模跟踪控制方法。该方法基于非线性扰动观测器,通过引入动态面技术和双曲正切函数,并构造估计扰动上界的自适应律优化传统滑模控制方法,最终通过收敛性证明和仿真分析验证了该方法的有效性。（2）针对在小天体探测器绕飞段受到以非球形引力摄动为主的周期性扰动影响轨迹跟踪控制精度的问题,提出了一种基于迭代学习控制的主动抗扰控制方法。首先设计扰动观测器估计系统受到的总扰动,进一步利用观测器的扰动估计值对控制律进行设计,实现对总扰动的主动补偿,通过收敛性证明和仿真分析验证了该方法不但可以加快响应速度,而且可以提高轨迹跟踪控制精度。（3）针对探测器在重复绕飞时会同时受到周期性扰动和非周期性扰动影响的问题,提出一种结合滑模控制的小天体探测器绕飞轨迹迭代学习跟踪控制方法。设计迭代学习控制器消除非球形引力扰动等周期性扰动的影响,同时设计滑模反馈控制器消除自身参数摄动等具有非周期性扰动的影响,该控制器不但能够提高控制精度,加快响应速度,而且具有良好的鲁棒性。