在核能系统的研究、设计过程中，参数的取值范围比较大，寻找最优设计方案的工作量巨大。并且核能系统中子学设计计算的许多问题是多因素、多目标的，多个目标相互制约。在传统设计中，依靠专家手工处理来寻找最优解，效率低，易出错。因此需要发展一种快速、高效、可靠的反应堆中子学优化计算方法。　　带精英策略的非支配排序遗传算法(Non-dominated Sorting GeneticAlgorithmsⅡ，简称NSGA-Ⅱ)具有收敛速度快、全局性好等显著特点，本文在深入分析核能系统结构与物理性能寻优以及物理参数特征的基础上，提出了一种基于NSGA-Ⅱ算法的核能系统中子学设计多目标优化方法，并对其编程实现。该程序使用蒙特卡罗三维粒子输运程序MCNP与三维燃耗耦合程序MFBurn进行中子输运与燃耗计算，能够对核能系统中的复杂三维几何结构和物理特性参数进行自动寻优。为了加快优化效率，该程序还结合多节点多线程并行计算技术对输运计算、燃耗计算以及优化过程进行了并行化。　　本文采用了国际原子能机构发布的加速器驱动次临界堆基准例题(IAEA-ADS)对该方法和程序进行了测试校验，计算值与基准值吻合良好，验证了本文方法与程序的正确性。最后，本文针对FDS团队提出的加速器驱动核废料嬗变次临界堆ADS-NWT，使用该程序对其嬗变性能进行了初步优化分析，为ADS-NWT设计提供了重要的参考信息，并进一步验证了该方法的有效性与程序在实际应用中的有效性。