光纤通信传输容量大、损耗低、传输频带宽且抗电磁干扰能力强,其发展涉及的范围、影响力已远远超越其本身。而相干光通信技术因其高灵敏度、更长的中继距离、更大的通信容量而成为热门研究技术。传统的相干光通信系统往往需要闭环的频率跟踪控制系统,以便本地本振光相位跟踪信号的载波相位。然而,稳定锁定载波相位漂移的复杂性使其在实际中的应用较为困难。在对反射式调制的双向相干光通信系统的研究中,减少了传统的闭环频率跟踪系统的需求,在实际工程应用中显示出较大的发展潜力。论文在反射式调制的双向相干光通信系统基础上,重点研究了光放大器在其中的应用。系统中调制信号与载波在同一根光纤内传输,这种单纤双向方式引起的背向散射噪声增加了系统的复杂性,这使得放大器在系统的应用中将考虑的噪声因素不仅仅是放大自发辐射噪声、双重瑞利背向散射噪声等,更要考虑到双向传输光纤中调制信号放大的同时载波背向散射噪声的影响。研究结果表明,在综合考虑放大自发辐射噪声、背向散射噪声等主要噪声影响后,若将双向掺铒光纤放大器或分布式拉曼光纤放大器应用于系统,在给光信号带来增益的同时也将放大背向散射噪声,这会使得系统应用价值大打折扣。而且系统只有单向传输信息,并没有双向放大的必要性。基于对系统光放大技术的进一步深刻剖析,本文考虑结合单向光放大的掺铒光纤放大器和分立式拉曼光纤放大器应用于反射式调制系统,且从理论、仿真实验方面对此进行了深刻探讨,分析了放大器的增益、噪声系数等情况,也分析了其在系统中应用时的性能表现,论证了其适用性。此外,考虑到分立式拉曼放大器泵浦效率的问题,本文也研究了一种双程放大的分立式拉曼放大器,它利用光纤布拉格光栅反射泵浦光而实现信号光的两次放大。仿真结果证明了它在提高泵浦效率方面的独特优势,也进一步改善了反射式调制系统的性能。由于背向散射噪声的影响,系统传输距离受限,其应用也局限于局域网和城域网等应用场景。但系统特殊的反射式调制方式,可在保密通信方面发挥作用。