卫星通信的下一步发展需要实现高码率的传输,通信载荷也需要适合于空间平台应用,即必须小型化、轻量化和低能耗,唯一能够满足这些要求的通信手段是自由空间激光通信。卫星激光通信终端在轨运行时面临着复杂的空间背景辐射情况,并且通常需要满足几千公里乃至几万公里的数传距离,发射较强的激光功率经过远距离传输能量损耗严重,同时卫星光通信系统必须是弱光探测,因此高的杂散光抑制比和收发隔离度是卫星光通信系统实现长距离、全双工激光通信的关键。本文对卫星光通信系统在轨面临的典型空间背景辐射特性和光学系统内部杂散光进行了理论研究和分析,从总体设计层面分析了卫星光通信终端需要设计的日凌规避角,以及其它典型星体对激光终端的杂散辐射量级计算方法,为卫星光通信系统的视场外杂散光抑制水平和收发隔离度等指标的要求提供了理论依据。主要针对卫星光通信终端光学系统的组成单机:潜望式粗指向机构、望远镜、收发通道和相干接收机里的90°光混频移相器做了杂散光抑制设计、理论分析、仿真计算和实验测试验证等工作。最后,将所有单机集成到一起建立了卫星光通信终端光学系统级的半物理仿真分析计算,验证了各单机/部组件的视场外杂散光抑制和收发隔离度提高设计,对光通信系统的视场外杂散光抑制和收发隔离度的提高效果明显。本文主要的主要工作及创新点如下:(1).提出了一种在次镜打孔和设置光陷阱的方式,提高卡塞格林望远镜的收发隔离度,并推导了次镜开孔孔径比、发射效率和隔离度的理论关系。仿真计算结果表明:当次镜开孔孔径比K为0.1~0.3时,望远镜发射效率不受影响,且收发隔离度由改进前的21.73dB提高到41.4dB。通过搭建测试装置测得改进后的卡塞格林望远镜收发隔离度为41.56dB,发射效率没有影响仍为76.9%,与仿真结果相吻合。实验结果验证了理论模型的准确性和改进方法的有效性,这对于提高卡塞格林望远镜的收发隔离度有重要意义。(2).设计了一种新的基于同频段异频点方案的单波长光学收发通道,建立了收发通道中的光学隔离数学模型,采取偏转1/4波片角度、偏振分光片透光处设置光陷阱和取消检偏器等优化措施,研制出的原理样机收发隔离度实测为78.3dB。该方案相比于传统多波长光学系统,具有减少系统激光器和收发支路数量等优点,同时可以实现不同终端之间状态自动切换便于组网,推导得出的隔离度数学模型对于同频段异频点的光学通道隔离度优化设计具有指导意义;(3).在前人理论研究的基础上,进一步结合卫星光通信终端光学系统的参数,提出使用潜望式捕跟机构、离轴望远镜、单波长收发通道和相干探测相结合的系统设计,仿真计算日凌时到达通信接收支路杂散辐射功率为-109dBm,实现日凌免疫,同时系统内部的收发隔离度达到100dB以上,该形式的卫星光通信系统可广泛应用于卫星星间的数传组网。