一直以来,小行星都是太阳系形成和演化的研究重点,同时也同地球生命的起源和发展密切相关,并对人类的生存构成潜在的威胁。对于小行星的地面观测加深了人类对于小行星的认识和了解,为理论研究提供了基础和依据。随着深空探测时代的到来,小行星的观测和研究进入了崭新的阶段,同时也对探测器轨道动力学研究提出了新的要求。由于小行星自身质量小、形状不规则和密度不均匀等特点,小行星探测器轨道动力学在继承传统的人造卫星轨道动力学研究成果的基础上,也出现了许多崭新的发展,本论文就在这一领域进行了几点初步的理论研究。第一章概述了小行星的相关背景知识,回顾了小行星探测任务的历史。对小行星附近动力学环境的分析表明,小行星附近探测器主要受到小行星引力和太阳光压摄动。第二章介绍了小行星引力场模型。分别综述了单颗小行星以及双小行星的常用引力场模型。以三颗形状规则程度不同的小行星为例,比较了单颗小行星的球谐函数引力模型同多面体引力模型的计算效率,并在小行星附近不同轨道高度处分析了球谐函数引力模型的计算精度,对球谐函数引力模型在单颗小行星引力场建模中的应用提供了有益的启示。在文献已有研究的基础上,提出了新的基于惯量张量的任意阶双小行星引力势计算模型,计算效率相比已有的双小行星引力势模型有了显著提高。第三章研究了单颗小行星探测器轨道动力学,研究对象主要分为悬停探测轨道和环绕探测轨道。对于悬停探测轨道,首先介绍了已有的小行星平衡点动力学的研究成果。然后在考虑了太阳光压摄动的基础上,计算得到了小行星平衡点的动力学替代轨道,并对动力学替代轨道的类型和稳定性进行了系统的分析。对于环绕探测轨道,利用动力系统理论,采用周期轨道方法,系统研究了小行星非球形引力影响下环绕轨道的类型和稳定性,并分析了随着小行星非球形引力的变化,不同类型环绕轨道的演化和稳定性变化。另外,详细介绍了考虑太阳光压摄动情形下两种特殊的冻结轨道:向阳轨道和晨昏线轨道。第四章研究了双小行星探测器轨道动力学。首先分析了考虑高阶引力势作用下双轨旋同步双小行星系统的稳定性。然后采用截断到二阶的相互引力势,利用周期轨道的方法,系统分析了轨旋同步双小行星系统中主星的轨旋共振对于系统稳定性的影响。在对双小行星稳定性研究的基础上,给出了截断到二阶的相互引力势作用下双小行星系统完整运动的一阶分析解。之后重点研究了双小行星系统的悬停探测轨道。首先在广义限制性三体问题模型下,系统研究了双轨旋同步双小行星系统的平衡点及其稳定性,然后进一步给出了一般双小行星系统平衡点的动力学替代轨道的分析解并进行了数值计算验证。最后简要介绍了双小行星系统环绕轨道的研究现状。综上所述,本文作为小行星探测器轨道动力学领域相关系统性研究工作的总结,创新点主要包含以下五个方面:(1)双小行星系统的高阶引力势展开;(2)太阳光压作用下单颗小行星悬停探测轨道的稳定性分析;(3)单颗小行星环绕周期轨道族的演化和稳定性分析;(4)双小行星系统稳定性的研究;(5)双小行星系统悬停探测轨道的相关研究,包括系统的平衡点(双轨旋同步双小行星系统)及其动力学替代轨道(轨旋同步和非轨旋同步双小行星系统)的分析和数值求解。