随着时代的发展科技的进步，航空航天活动在全世界范围内蓬勃发展。从最开始的月球着陆活动，到后来的金星和火星的探测活动，针对地球外的行星探索一直没有停止过。由于近地小行星存在撞击地球的威胁，并具有独特的天文价值和科技价值，对小行星进行深空探测极具吸引力，成为各个航天大国的新热点。由于小行星存在的引力场不规则等特殊性，传统的二体动力学方法不再适用，研究小行星的引力场建模及周围的轨道动力学及控制问题成为实现小行星探测的关键。本文研究不规则的小行星引力场建模方法，并对近小行星的轨道动力学进行研究，主要内容包括以下几个方面：首先，建立本文常用的两种坐标系，在这些坐标系下，给出小行星探测器的轨道动力学方程。针对不规则的小行星，分别采用球谐函数模型和多面体模型两种方法进行引力场建模计算与分析，并对二者进行对比。其次，分析近小行星探测器的悬停控制问题。在小行星的固连坐标系下，建立悬停控制的运动模型，将非线性的动力学问题线性化。基于线性扰动方程，分别考虑不同的偏差情况，设计两种悬停控制律：基于滑模的探测器控制律和基于Tight控制的小偏差控制律，并进行稳定性分析。当偏差较大时，使用基于滑模的悬停控制律，以实现快速接近；偏差较小时，使用Tight控制律，以避免较大的控制推力，减小能量消耗。最后，计算近小行星引力场的平衡点，分析平衡点处的轨道特性。为了研究平衡点附近的轨道特点，计算解得一种基于线性化运动模型的一阶解析解，讨论不稳定平衡点处的轨道稳定性。基于该一阶解析解，设计出平衡点处的标称Halo轨道。此外，在线性的偏差动力学方程的基础上，提出一种基于连续小推力和极小值原理的Halo轨道保持控制律。采用该控制律，可以实现探测器对标称轨道的跟踪，通过仿真分析验证该控制律的有效性。