以密集波分复用(DWDM)和掺铒光纤放大器(EDFA)为代表的传统强度调制直接检测(IMDD)光传输系统难以持续支撑网络流量的快速增长,基于高阶调制码型和数字信号处理(DSP)技术的相干检测光传输系统已经成为高速核心网络中的主流方式。更高的传输码率以及复杂的高阶调制格式对光通信系统光信噪比(OSNR)裕量的需求不断提高并且对链路中的非线性效应更加敏感,低噪声的分布式光纤拉曼放大器因而受到更广泛的关注。在传统的IMDD系统中,对拉曼放大器的增益谱优化控制以及各种效应导致的强度噪声已有较为详尽的理论和实验研究。而在偏振复用的相干光通信系统中,复振幅调制的光信号在拉曼放大条件下可能存在更为丰富的物理现象值得进一步研究和思考。另一方面,当前实验报道的单模光纤传输系统的容量已经接近非线性受限的香农极限,而各种新型业务导致的全球网络流量的增长势头却仍在继续。以空分复用(SDM)技术为代表的新型人工信道传输方式成为研究与应用的热点,被期待突破单根光纤的传输极限从而再次大幅提高光纤传输系统的容量。拉曼放大器是空分复用光纤传输介质中实现长距离分布式信号放大有吸引力的方案之一。基于此,本论文以新型的多维复用相干光传输系统应用背景,对分布式拉曼放大器的新型噪声机理、系统损伤以及传输系统性能提升开展了详尽的理论与实验研究。主要的研究工作内容和创新贡献归纳如下:(1)实验深入研究了在相干光传输系统中由于拉曼泵浦相对强度噪声(RIN)和光纤中交叉相位调制(XPM)效应共同作用引入的一种称为相对相位噪声(RPN)的新型噪声。首次在前向泵浦条件下对RPN噪声进行了直接观测并测量其传递函数,实验结果与理论模型十分吻合。在后向泵浦条件下虽然难以直接观测到RPN,但实验现象与考虑激光器相位噪声等实验条件下的模型仿真结果也是一致的,从而证明了理论模型的正确性。另一方面,首次在相干光正交频分复用(CO-OFDM)传输系统中观测到RPN噪声的存在,并得到了与连续光信号一致的RPN传递函数。该工作证明了RPN这一新型拉曼放大器噪声在相干光通信系统中的存在并开展了详细的机理分析,为优化拉曼放大下的相干光通信系统性能指明了方向。(2)利用双向拉曼放大和混合放大的光纤环路结构优化链路中的噪声性能和非线性损伤实现了大容量和长距离的CO-OFDM传输平台,在此基础上提出并实现了一种高效且低复杂度的带内OSNR监测方法。仅利用OFDM符号中的一个训练序列符号(TS1)进行相关运算得到子载波的电信噪比(ESNR),进而估算出OSNR。这种方法可以同时独立监测两个偏振态上的OSNR,并在较宽的动态范围内表现出了很好的估算精度。通过实验和仿真分析了非线性噪声对OSNR估算精度的影响因素。结合分布式拉曼放大对非线性效应的抑制作用,该方法为长距离光纤链路的OSNR监测提供了一种合适的技术途径。(3)实验研究了在偏振复用系统中由于拉曼泵浦RIN噪声和光纤中交叉偏振调制(XPol M)效应相互作用而产生的一种称为相对偏振噪声(RPolN)的新型串扰噪声。首次开展了RPolN的实验观测并测量了其传递函数。通过与理论模型对比发现传统的CMA算法在低频处对这种串扰噪声有一定的补偿作用,但在较高频率范围依旧存在较大的RPolN噪声影响。实验研究了拉曼泵浦光的偏振态对RPolN的影响机制,通过对泵浦光进行退偏操作实现了对RPolN效应较好的抵抗作用。(4)提出并实现了一种基于少模-单模混合光纤链路拉曼放大的CO-OFDM准基模传输系统。利用少模光纤中激励起的准基模较大的有效模场面积抵抗光纤传输的非线性损伤,并利用OFDM多载波技术抵抗准基模传输中的多径干涉(MPI)效应从而避免了单载波准基模传输系统中的MPI抑制算法开销。利用混合光纤链路在进一步减小MPI的同时结合拉曼放大器优化了系统的传输性能,在单波长信号光800km传输实验中,混合光纤的准基模传输系统相比传统单模传输系统的最佳入纤光功率和Q值分别提升了2dB和0.35dB。该工作为基于少模光纤的空分复用传输技术提供了一种有效的系统演进方案。