传统的光纤通信系统存在信息被窃取的风险,尤其在保密通信的应用中更难满足安全性的要求。针对安全信息传输技术问题,本文研究了一种改进型高安全性的反射式相干光通信系统。由于信号光与本振光同源,在实现零差检测的同时,能够保证系统高频率稳定性。并且避免了使用光锁相环或闭环频率跟踪控制系统所带来的容易引起环路不稳定的问题。同时,对发射端的结构做出了改进,避免在信号调制过程中由重复调制产生的再调制噪声,改善调制效果。由于单纤双向传输的系统结构,以瑞利背向散射和受激布里渊散射为主的后向散射对系统性能产生不利的影响。因此,此类问题的研究对于评估反射式系统的性能具有重要意义。首先,简要介绍了光纤中常见的三种散射—瑞利散射、拉曼散射、布里渊散射。从经典理论和量子力学的角度分别阐述了瑞利背向散射和受激布里渊散射的物理机制。其次,详细介绍了改进型反射式系统的结构和工作原理。基于反射式系统的结构特点,分析了系统中相干瑞利噪声的来源,在线性传输模式下对系统的传输特性和相干瑞利噪声的特性进行了分析。从光纤参数和光源参数的角度,研究分析了受激布里渊散射的阈值特性。基于受激布里渊散射的耦合波方程,在MATLAB中采用高精度的四阶龙格-库塔法+打靶法对反射式系统下行链路的传输特性进行了数值分析。同时,分析了反射式系统接收端的信号光功率随入射光功率的变化,研究了基于受激布里渊散射的相干瑞利噪声的特性。最后,基于平衡探测的工作原理,介绍了反射式系统平衡探测的设计方案。分析了反射式系统单管探测和平衡探测的噪声组成。考虑平衡失配时,对平衡探测和单管探测的探测性能做了比较分析。在平衡探测和单管探测的信噪比公式中引入相干瑞利噪声,并对两种探测的灵敏度进行了比较。结果表明平衡探测对于灵敏度具有显著的改善效果,适用于微弱信号的探测。采用二进制相移键控(Binary Phase Shift Keying,BPSK)调制平衡探测的方式,根据光纤中有无发生受激布里渊散射,分别对低入射光功率和高入射光功率两种工作模式下的系统性能进行了分析与评估。对数据结果进行分析比较可得,改进型反射式系统无论是在低入射光功率还是高入射光功率的工作模式下,均表现出良好的通信性能,可应用在保密通信或某些特殊领域的高速相干光通信中。