中国正在大力发展月球探测任务，这离不开测控通信系统，而星座是整个系统必不可少的一个环节。月球中继卫星星座就是由一颗或者几颗月球的中继卫星组成的，它们之间形成一个固定的空间几何图形。星座部署之后，中国就能够对月球正面或者月球背面进行各种程度的通讯覆盖。月球中继卫星定轨（或导航）是指利用地基或天基航天器跟踪站或星载惯性敏感器件对月球中继卫星运动状态的带有误差的测量数据和并非精确的运动方程对月球中继卫星轨道根数进行估值的过程。通过轨道确定可以得到月球中继卫星在过去、当前和未来一段时间内任意时刻的运动状态。因此，月球中继卫星轨道确定是轨道跟踪、轨道控制和应用的基础。本文的主要工作在于研究月球中继卫星的定轨算法，从而为月球中继卫星提供精确的位置与速度信息，进而为月球中继星座本身提供轨道控制参考数据，并为探月飞船或宇航员等用户提供导航定位、数据中继等服务。月球卫星所处的力学环境比较复杂，不能直接照搬地球卫星的定轨方法。这就需要研究月球中继卫星的二体或三体动力学模型，建立适当的观测模型，选择或自主研究合适的定轨体制，从而实现对月球中继卫星的精密轨道确定。本论文旨在研究二体系统下和圆型限制三体系统下的月球中继卫星动力学特性和轨道计算方法，建立月球中继卫星观测模型；研究月球中继卫星定轨参数估值方法。具体研究内容有：（1）建立月球中继卫星轨道动力学模型；（2）建立月球中继卫星观测模型；（3）研究月球中继卫星定轨方法。参考美国国家航空航天局和我国的卫星定轨理论和定轨方法，按照卫星轨道类型的不同，从坐标系及时间系统、卫星受力模型、定轨观测模型、初定轨方法以及轨道改进方法等方面，对环月球轨道、拉格朗日点轨道的轨道确定方法做了相应的的定轨理论归纳和仿真工作。仿真结果表明批处理定轨和卡尔曼滤波实时定轨算法都能达到较高的定轨精度。这也充分得证明了本文所设计的月球中继卫星轨道确定算法是切实可行。