二十一世纪,迎来了深空探测技术研究与计划实施的新高潮,远日行星探测、重返月球、小行星及彗星探测等相关深空探测任务都已经开始实施或提上日程。由于在星际探测任务中,通常需要巨大的速度增量来实现轨道转移,因此具有高比冲的小推力推进系统在深空探测任务中的应用已经受到了广泛的关注。小推力推进系统的应用极大的增加了有效载荷的质量百分比、缩减了任务成本,增大了科学回报,但同时也对轨道设计技术提出了新的要求和挑战。本学位论文结合863计划项目“深空探测自主技术与仿真演示系统”、“星际高速公路的低能量转移轨道设计技术研究”以及国家自然科学基金资助项目“深空探测转移轨道机理与优化方法研究”,针对深空探测中的小推力轨道设计与优化技术进行了研究,主要研究内容包括以下几个方面:针对小推力星际巡航段轨道设计和优化问题,提出一种用于初始轨道设计和性能预估的“标称轨道法”和一种可用于复杂巡航段小推力轨道精确设计的“退火遗传-混合优化算法”。标称轨道法通过引入标称轨道的概念,并利用开普勒轨道的特性对轨道优化模型进行转化,从而加快了计算速度,克服了传统方法在收敛性方面存在的问题,可用于小推力轨道的性能预估和轨道搜索。退火遗传-混合优化算法从分析轨道优化问题对共轭状态敏感的原因入手,对共轭状态猜测方法做出改进从而降低轨道优化问题对初值猜测的敏感度,适合用于优化复杂的小推力巡航段轨道。针对近行星小推力轨道转移问题,在分析轨道动力学特性的基础上结合Lyapunov反馈控制的思想,提出一种基于Lyapunov局部最优反馈控制律的近行星小推力轨道设计方法。首先,分析了推力加速度在改变某一特定轨道根数中所起的作用。然后,在此分析的基础上设定Lyapunov函数,并推导出半解析形式的局部最优推力方向角表达式。最后,通过参数优化方法对Lyapunov函数中的权重进行调解,数值研究表明如果权重选择适当则获得的次优解将十分接近于最优解,并且此方法能对受无先验信息开关函数约束的轨道转移以及小推力逃逸俘获轨道进行有效的设计。针对近年来兴起的星际高速公路(IPS)设计概念,通过将IPS技术与小推力推进技术相结合提出小推力IPS轨道转移方案。利用动力系统理论研究了与三体系统平衡点以及周期轨道相连的不变流形,并分析了太阳系各行星系统之间潜在的IPS转移通道。结合标称轨道法给出一种IPS转移轨道的探测机会搜索方法,并在此基础上对小推力IPS转移的巡航段轨道进行设计优化。对于小推力IPS转移的逃逸及俘获段轨道设计问题,通过绘制庞加莱截面的方法对动力飞行段和滑行段轨道进行匹配,并结合Lyapunov局部最优反馈控制的方法实现小推力IPS逃逸及俘获轨道的设计优化,从而完成从停泊轨道到目标轨道的完整小推力IPS轨道设计。结合本文研究内容,利用基于退火遗传-混合优化算法的星际巡航段轨道设计方法、基于Lyapunov局部最优反馈控制的近行星小推力轨道设计方法以及小推力IPS转移轨道设计与优化方法,以地球-金星探测任务为例,对各种行星际小推力探测任务的轨道方案进行了详细的分析和研究。首先,给出了6种基本的轨道转移方案,并对其中3种新型转移方案进行了全过程的设计与优化。然后,分别从有效载荷、探测器构型、科学仪器工作约束以及地面测控系统配置等方面计算与之有关的距离及夹角关系,验证了本文提出的各种设计与优化方法的有效性,并得到各种轨道方案的特点、适用范围及对相关系统可能产生的影响。