自由空间零差相干光通信具有高灵敏度、高码率、窄带宽、功耗低、保密性好、通信距离远、抗干扰能力强、系统体积小重量轻等一系列优点,因此成为星间通信领域新的研究热点。零差相干光通信系统使用光学锁相环技术来实现信号光与本振光的相位同步。科斯塔斯光锁相环是最常用的光学锁相环之一,具有对激光器线宽要求低的突出优点。本文研究了光学锁相环的基本原理并建立科斯塔斯光锁相环的数学模型,对环路中存在的噪声进行理论分析,并对激光器线宽提出要求,设计了一组可行的环路参数:τ1= 29.7ms , τ2=22.5μs , K = 115Mrad/s , fn≈1OkHz , ξ = 0.707。根据理论分析结果,在Optisystem光学仿真平台上对基于Costas环的零差BPSK通信系统的锁相性能进行静态仿真,得到系统满足通信误码率需求情况下的最小信号光功率和最佳传输距离,仿真实验表明,系统误码率随信号光功率的减小、激光器线宽的增加、传输距离的加大而升高。在Simulink数学仿真软件中对基于Costas环的零差BPSK通信系统进行了锁相过程的动态仿真,测试了锁相环路的锁定时间,捕获及锁定范围,并对环路的噪声特性进行了仿真验证。最后结合理论分析和仿真结果,进行Costas光锁相及调制解调实验,实验结果验证了 Costas环的锁相性能。