激光通信具有信息容量大、光学增益高、高度抗干扰和抗截获能力等突出优点，得到了国内外广大关注。激光通信中光学系统支路繁多、波像差要求极高，对光学元件的加工和装调要求非常严格，因此研究合理的光学系统结构，建立像差和通信性能参数之间关系，可以有效指导设计、加工和装调；通信终端通信距离非常远，难以在地面开展行之有效的试验，所以研制终端检测所需的实验室平台和空间通信链路模拟设备是评估终端整体性能的有效途径。在不考虑大气、电子学等影响的前提下，本文针对通信终端不同支路的作用特点和探测方式，建立了发射系统单色像差和远场激光能量分布、接收系统单色像差和跟踪精度、接收功率以及通信系统误码率之间的关系，并利用建立的关系分析了单色像差对于指向、跟踪精度和误码率的影响；分析结果表明，慧差和倾斜将严重影响指向和捕获跟踪精度，分别呈三次和线性关系，像差对于误码率的影响和理论误码率大小有关，理论误码率越低，通信终端对光学系统要求越高；通过对IM/DD(Intensity Modulation Direct Detection)和BPSK(Binary Phase ShiftKeying)调制解调方式的分析，指出了基于BPSK相干通信对光学系统波像差要求要高于IM/DD非相干激光通信的依据；通过对不同光束相干外差效率的研究，指出获取较高外差效率时，根据探测器确定相干光束参数的依据。根据GEO(Geosynchronous orbit)和地面通信终端的使用要求和特点，提出了基于BPSK调制GEO通信终端的光学系统要求。在该指标下，比较了采用透射、离轴反射、卡式和改进卡式结构设计终端天线时对体积、加工、装调的要求。结果表明改进的卡式结构具有体积小、加工难度低、装配公差松的优点，非常适合于通信终端的应用。采用改进的卡式结构设计了基于BPSK调制的GEO终端光学系统，分析了该光学系统的性能。通过对国外激光通信终端实验室测试设备的功能分析，结合通信终端光学系统的特点，提出了测试通信终端所用的实验室检测平台光学系统原理和设计要求，根据光学要求设计了该测试平台，平台采用全反射结构，利用分束器反射和透射相结合的结构消除光学系统的偏振分离，使得平台不仅能测试不同激光波长的终端、又能对不同调制下的终端进行性能评估；平台调试结果表明，平台不能满足指标波像差要求，通过分析平台波像差的特点，提出了采用掩模相位板补偿系统波面的方法，并对补偿效果和可行性进行了分析和实验验证，结果表明该方法稳定可行；根据研制的测试平台，对应的设计了能够模拟空间可变距离光束传输的实验室系统，系统采用全反射级联、物像同时移动实现，结构明确、体积小。精度分析表明在现有工艺下，系统能够保证1%的能量测试精度，满足测试系统要求。