空间激光通信以其通信频带宽、速率高、保密性强、抗电磁干扰能力强、体积小、功耗低等优点逐渐成为解决卫星空间通信领域通信速率问题的一种关键技术。空间激光通信光学系统是实现空间光远距离高速传输的重要部件,由于其本身是一种弱光探测系统,在通信过程中发射光能量较强,接收光能量较弱,因此其光学系统设计中必须保证高收发通道隔离度,本文针对空间激光通信系统光学隔离度优化提升方法进行了以下研究:首先,通过分析确立本文研究对象为使用卡塞格林光学天线的空间激光通信光学系统,计算并确立了空间激光通信光学系统各项指标要求,基于双向散射分布函数对研究隔离度问题的重要理论基础表面散射理论进行研究,对光学系统隔离度的影响因素进行了分析。第二,为了提高光学天线隔离度,在分析表面散射模型的基础上,提出并实现了目镜表面后向散射优化的方法,并进行了仿真验证。基于表面散射模型,提出目镜表面后向散射贡献的评价方法并基于该方法建立评估模型,使用ZEMAX宏指令计算后向散射评估模型并建立自定义操作数。在完成了光学天线初始系统设计和隔离度仿真的基础上,使用所建立的操作数对初始系统目镜表面后向散射进行优化,优化后隔离度相比于初始系统提升了1.178dB。第三,提出并实现发射光束环形整形提升光学天线隔离度的方法。根据光学天线的发射效率和隔离度计算并确立环形发射光束的参数,建立使用衍射光学器件实现发射光束环形整形的方案。对环形整形方案中各子系统的设计方法进行研究并对各子系统进行设计,通过仿真分析设计后的发射子系统可以使光学天线隔离度达到48.01dB,发射效率达到92.34%相比环形整形前分别提高了7.61dB和10.92%。使用空间光调制器设计实验,验证了衍射整形器件设计的正确性,实验结果表明所设计的衍射整形器件实现了对发射光束的环形整形。第四,研究了基于分光镜装调的隔离度优化方法。在设计分光光路的基础上,设计了一种精确控制入射角度的同时对分光镜光学效率和分光能力进行测量的装置,实验分析了使用被测量分光镜时通过微调提高隔离度的方法,通过精确微调分光镜安装角度在保证系统效率的前提下提高系统隔离度0.79dB。完成捕跟接收子系统和通信接收子系统设计,并完成了空间激光通信光学系统各子系统的整体组合。