密集波分复用(DWDM)、相干光正交频分复用(CO-OFDM)和Nyquist-WDM系统是实现光纤通信向更大容量发展的重要技术。然而随着进一步地扩容,在传输中的各种光纤非线性效应限制了系统的性能和容量。共轭孪生波(PCTW)是一种先进的数字非线性补偿技术,具有传统非线性补偿技术所不具备的优点。如何有效评估PCTW对于大容量光纤通信系统中非线性的抑制情况对系统的优化升级非常重要。本文围绕PCTW对大容量光纤通信系统中的非线性效应的抑制程度做了一些理论分析和仿真研究。考虑到信道间脉冲的走离效应的影响,基于限带宽噪声频谱分析理论,推导了一种基于正交幅度调制(QAM)的PCTW Nyquist-WDM系统四波混频(FWM)噪声标准差的半解析计算模型,并利用此半解析理论模型进行了相关计算。在总带宽和频谱效率相同的情况下,对16信道32-Gbaud/ch和32信道16-Gbaud/ch两种16QAM PCTW Nyquist-WDM系统的中心信道性能进行了数值比较。计算结果表明,即使对于功率分布非对称的光纤链路,PCTW方案也可有效抑制FWM噪声对此类系统性能的影响。我们所得到的理论模型还表明,简并FWM噪声的标准差与QAM信号的进制数相关,而非简并FWM噪声的标准差与QAM信号的进制数无关。基于OptiSystem和Matlab软件,构建了基于PCTW的CO-OFDM DWDM超级信道系统。针对OFDM调制的特殊性,提出了两种PCTW实现方案:时域PCTW和频域PCTW。仿真结果表明,两种PCTW方案都能够有效降低WDM系统信道之间的非线性损伤,提高系统的非线性容限,同时频域PCTW方案还可以抑制子载波之间的非线性串扰,性能优于时域方案。本文所得到的QAM PCTW Nyquist-WDM系统FWM噪声标准差的半解析理论计算模型,以及不同PCTW实现方案下CO-OFDM DWDM系统的仿真结果为大容量、长距离骨干网的优化设计提供了参考。