卫星激光通信技术被视为是建立高速卫星通信链路的有效手段,受到了国际上的广泛重视。美国、欧洲、日本等国家和地区已相继进行了空间实验,成功实现了星间和星地高速激光通信。美国计划2015年在第三代中继卫星上采用激光通信技术,准备将卫星光通信推向实用化。DPSK/自差探测体制具有与相干探测相媲美的高灵敏度探测能力、相对简单的接收机结构和以波分复用方式实现更高速率传输的优势,是未来高速卫星光通信技术发展中极具潜力的选择之一。将空间激光高效耦合进单模光纤内,这是基于自差探测体制的卫星光通信系统的关键技术之一。在星间光通信中,受卫星平台振动、跟踪系统中跟踪探测器噪声以及转台机械噪声等因素的影响,接收端存在随机角抖动。受光学元件加工、装调误差以及空间环境的影响,光学系统不可避免的存在形变,进而影响接收光束的波前。随机角抖动和波前畸变将对单模光纤耦合产生影响,进而影响自差光通信系统的通信性能。此外,由于星间激光通信是在两个相对高速运动的卫星载体间进行,因此,必须考虑卫星间相对运动产生的多普勒频移问题。本文对基于单模光纤耦合、自差探测的星间激光通信系统接收性能进行了研究,重点对空间激光到单模光纤耦合这一关键技术进行了理论和实验研究,并针对卫星光通信特有的多普勒频移问题进行了分析。研究了随机角抖动对空间光到单模光纤耦合效率的影响。在入射光瞳面上,建立了随机角抖动对空间光到单模光纤耦合影响的理论模型。基于该模型,得到了单模光纤平均耦合效率的解析表达式,给出了耦合系统的优化条件。分析了随机角抖动与光纤对准误差的综合影响。最后,进行了随机角抖动对单模光纤耦合效率影响的模拟实验研究,验证了理论分析的正确性。研究了波前畸变对空间光到单模光纤耦合效率的影响。构造了在以单模光纤后向传输模场为加权函数的孔径内正交的多项式。利用所得正交多项式,研究了整体波前畸变对空间激光到单模光纤耦合的影响,并评估了斯特列尔比近似解的精确性。研究了单模光纤耦合效率随局部波前畸变各参量的变化规律,对透射式和反射式光学天线分别进行了讨论。研究了随机角抖动引起的接收信号衰落特性以及随机角抖动下星间自差光通信系统的平均误码率;分析了整体波前畸变和局部波前畸变对星间自差光通信系统通信性能的影响,对透射式和反射式光学天线的情况分别进行了研究。针对多普勒频移的影响,提出了鲁棒自差接收方法,讨论了鲁棒自差接收方法的适用条件。当鲁棒自差接收的适用条件不能满足时,必须采用自动控制环路精确控制MZI相位,为进一步提高接收机性能,分析了在整个载波频率变化范围内,使接收机误码率最低的光带通滤波器最佳带宽,对不同光带通滤波器的情况进行了对比分析。本文的研究工作将为自差探测系统中空间激光到单模光纤耦合这一关键技术的突破打下理论基础,对基于自差探测的卫星光通信系统的优化设计提供理论依据。