自光纤通信系统诞生以来,其通信容量已维持了数十年的指数式增长。时至今日,光纤通信系统的容量增长逐渐迫近瓶颈,而关键的限制因素之一,便是由光纤非线性效应所引入的非线性串扰（NLI,nonlinear interference）。此外,寻找与现有系统高度兼容的新型扩容方式,对进一步提升通信容量也至关重要。紧扣光纤通信系统中提升通信容量的关键问题,本文重点开展了两方面的研究:一方面,研究了相干光纤通信系统中NLI的消除和补偿方法;另一方面,研究了与现有系统高度兼容的严格对称同波单纤双向（SSSWB,strictly symmetrical samewavelength bidirectional）扩容技术,并解决了限制其在相干光纤通信系统中应用的关键问题。本文与相干光纤通信系统中NLI相关的主要研究内容与成果包括:（1）提出了一种在随机分布式放大光纤传输系统中,通过插入布拉格光纤光栅来实现近似无损光纤链路的方法。仿真结果表明,可以在61.5 km的光纤链路上实现近似无损传输,且C波段信道的功率波动小于1.2 dB。提出了一种无损光纤链路的物理近似实现方式,为获得非线性薛定谔方程解析解的非线性傅里叶变换技术提供了物理支撑。（2）在NLI的补偿方面,对比研究了基于时域微扰理论的数字后向传输技术的两种典型算法实现结构,分别为在发射端和接收端的数字信号处理模块中进行数字后向传输的算法实现结构。通过理论和仿真分析,得出最终结论:对于基于时域微扰理论的数字后向传输技术而言,发射端方案中的微扰截断误差会在实际光纤链路中不断积累,从而劣化NLI的补偿效果。相对地,接收端方案由于额外考虑了实际的非线性相移效应,从而具备更高的微扰近似精度,因而具备更好的NLI补偿性能。该结论为低复杂度的NLI补偿算法提供了指导意见。在新型扩容技术方面,本文全面且详细地研究了限制严格对称同波单纤双向相干光纤通信系统的三大核心问题——非线性串扰、瑞利散射噪声和反射串扰,并分别提出了对应的解决方法,最后实现了超大容量的、完整的严格对称同波单纤双向相干光纤通信系统,具体内容包括:（3）针对NLI问题,从理论上推导出了SSSWB相干光纤通信系统中的高斯噪声模型,并对模型进行了有效的简化。通过对模型中表征NLI噪声功率谱的积分公式进行分析,得出重要结论:由于双向信号光之间的四波混频效率很低,所以双向信号光之间的非线性相互作用较弱,从而排除了NLI对SSSWB技术的限制,为该技术在相干光纤系统中的应用奠定了基础。（4）研究了SSSWB相干光纤通信系统中的关键限制因素之一:瑞利散射噪声,具体包括:瑞利散射噪声的来源、对系统的影响以及相应的抑制方法。通过对瑞利散射光和信号光进行全面的对比分析,找到了抑制瑞利散射噪声的方法,并利用泛函分析推导出了瑞利散射噪声得到最佳抑制的条件,即光纤链路满足无损条件。进一步,结合分布式拉曼放大器在实现近似无损光纤链路方面的优势,并利用梯度下降法对泵浦功率和信号总入纤光功率进行了优化,使得SSSWB相干光纤通信系统的性能得以逼近理论极限,验证了理论的正确性,同时揭示了该系统在瑞利散射噪声限制下的通信容量极限。（5）针对SSSWB相干光纤通信系统中的另一个关键限制因素:反射串扰,研究了其形成机理、对系统的影响以及相应的消除方法。利用反射串扰的可预知性,并考虑到相干光纤通信系统中载波相位信息的重要性,提出了一种线性调频训练序列辅助的反射串扰消除方法,可以在接收端将反射串扰近乎完全消除,并通过实验验证了所提出方法的有效性。最后,得益于上述三大关键问题的解决,本文率先在130 km和90 km长的光纤上,实现了C波段160个信道、各信道波特率为28 GBaud、调制格式分别为DPQPSK和DP-16QAM的完整的严格对称同波单纤双向相干光纤通信系统,其单根光纤的通信容量高达66.7 Tbit/s。