光纤通信历史上最成功的技术之一波分复用（Wavelength Division Multiplexing,WDM）可以将多种各自携带有大量信息的不同波长的光载波信号经复用后传输,相比单波长可以使传输容量成几十倍甚至上百倍的增长。利用波分复用技术可以在25GHz频率间隔的前提下在约40nm带宽内分配约200个信道,在这种情况下,光频梳可以用一个激光器代替发射机中所需的大量激光器,并且可以非常精确地固定带宽上的信道间隔。同时,在这种载波数量庞大,载波间隔紧密的波分复用系统中,光纤中的非线性效应导致的信号质量劣化是制约系统性能的主要瓶颈。虽然利用相干光通信技术可以实现对光纤中线性损伤的完美补偿,但是针对光纤中的非线性效应尤其是光梳WDM系统中的信道间非线性效应补偿仍需要进一步完善。本文首先介绍了光梳WDM相干传输系统的结构,并通过Tb/s光超信道子载波配置,光梳在色散补偿光纤（Dispersion Compensation Fiber,DCF）链路中的性能及幅度相移键控（Amplitude Phase Shift Keying,APSK）新型调制格式在光梳WDM系统中的应用三个方面分析了光梳WDM相干光传输系统的性能。得益于光频梳的频率和谱线间隔的稳定性,本文通过灵活改变光频梳谱线间隔使得在一定频带范围内容纳不同数量的子载波,确定了4Tb/s光超信道最佳子载波配置。随后本文探索了光频梳在包含DCF链路的系统中的性能表现。在仿真分析过程中,光梳WDM系统中的非线性效应尤其是信道间非线性效应严重影响了信号质量,因此本文尝试使用APSK这一非线性容忍性较强的新型调制格式并分析了其在光梳WDM系统中的性能。未来WDM系统的传输速率,传输距离会不断增加,使用非线性容忍性更强的调制格式只是权宜之计,因此本文继续探索适用于光梳WDM系统的信道间非线性补偿算法。首先分析了普通的数字反向传播（Digital Back Propagation,DBP）算法在单载波系统和光梳WDM系统中的性能,进而分析了全光场DBP算法和MC-DBP算法两种信道间非线性补偿算法,结果证明两种算法相比普通DBP算法都能有效地提高系统的误比特率。基于实用价值更高的MC-DBP算法,本文提出了借助多核数字信号处理器的一种高效MC-DBP方案,仿真结果证明高效MCDBP方案相比线性均衡性能更优。