进入二十一世纪以来,我国的航天技术得到了飞速发展,在轨运行的航天器数量越来越多。以陆地测控站和海洋测量船为主体的传统航天测控手段建设成本高昂、轨道覆盖率低,已经不能满足我国航天事业发展的需要。开发我国自己的跟踪与数据中继卫星系统(TDRSS),只需要很少几颗中继卫星即可实现接近百分之百的轨道覆盖率,非常适合对航天器的实时测控。此外TDRSS作为数据中继站,可以满足在轨航天器全时段高速率向地面传输信息。在未来的空间中,低成本、发射迅速的微小卫星将会占据重要地位。这意味着将会有大量的航天器与地面测控站交换数据信息,这必然导致在各个航天器之间存在着互相干扰。而信号在几百公里甚至更高的轨道上向地面传输,在这个在传输过程中必然会存在相当可观的衰减。上述因素都会影响到地面与航天器之间通信的完整性和可靠性。因此本文重点研究TDRSS多目标测控中的干扰抑制技术和信道编码技术,从这两个方面来提高TDRSS通信链路的可靠性。首先,本文介绍了TDRSS通信网络模型,对其通信链路中关系到通信质量的重要参数作了介绍,对于TDRSS的返向链路和前向链路,本文分别给出了其信号模型。其次,由于TDRSS的前向链路发送的是测控信号,对于信息传输的可靠性要求很高,而并不需要很高数据速率,本文提出了基于人工鱼群算法(AFSA)优化的前向链路多用户检测算法,该算法经过人工鱼群的迭代搜索不断逼近最优多用户检测算法的误码率性能。并通过仿真实验说明了该算法的误码率、抗远近效应能力、用户容量等方面与传统多用户检测方法相比较所具有的优势。由于前向链路多用户检测输出的结果是硬判决结果,本文对硬判决译码探索了空间数据系统咨询委员会(CCSDS)给出的空间信道编码标准中低密度奇偶校验(LDPC)码、卷积码、以及级联编码的性能。最后,针对TDRSS返向链路数据量较大,通信速率要求高而航天器发射功率有限的特点,本文提出了一种低计算复杂度的软输出多用户检测方法,可以用软判决译码,然后将译码结果反馈到多用户检测器,通过迭代来提高整个多用户通信系统的性能。仿真结果表明该硬判决输入软判决输出的多用户检测方法可以在编码效率较高的情况下获得较低的误码率。