轨道设计与优化是深空探测任务需要先行且非常重要的一步，一个优秀的轨道设计方案不仅能节约成本、扩大任务成果，还能降低风险、提高成功率。深空探测中多目标探测为基础的多任务和以电推进为主的连续小推力技术具有高效益和高有效载荷比的巨大优势，本文把这两者相结合，紧扣深空轨道设计方法的技术前沿和我国未来深空探测活动的需求，对深空探测的轨迹优化进行了系统研究。主要研究内容如下：首先，对深空探测轨迹优化作了问题描述以及数学建模。问题描述主要包括深空探测轨迹优化的初始条件、边界条件与性能指标等；数学建模主要包括轨道坐标系的定义、天体与探测器的二体与多体动力学方程以及天体的轨道数据；然后，研究了多目标小推力深空探测器的轨迹优化方法，采用组合算法把全局优化和局部优化相结合。以近地小行星探测为例研究了动态规划法选取小行星序列和共轭梯度法进行小推力轨道求解及优化；以第三届全国深空轨道设计竞赛所给出的任务为例研究了粒子群算法选取目标探测序列和确立发射时间窗口，并以遗传算法为基础进行轨迹优化。得到的仿真算例结果表明所采用的组合算法均能有较好的性能指标，且算法精度高，可移植性强；最后，研究了基于二体与多体运动模型的深空轨道设计的误差分析。为追求误差的准确性而巧妙设计了仿真实验，分析表明目前广泛采用的二体问题模型在深空探测轨道设计上存在巨大误差，且误差随时间积累而不断增大。