超高速长距离光传输系统,是下一代光通信领域的技术制高点,也是全球光通信领域最大的研究热点。为了克服传输损耗及获得足够的光信噪比,超长距离光传输需要足够高的入纤功率,而高的入纤功率容易引起光纤的非线性效应。因此光纤非线性效应的克服将对超高速长距离光传输系统的实现产生重要影响。现有的非线性效应补偿方法,例如反向传输法,主要是通过大量的仿真试验对研究的系统进行模拟,从而耗时耗力。如果非线性效应有一个准确的封闭解,通过它项目组只要知道一些主要的系统参量,比如系统色散,色散补偿率等就可以估计出系统中对应的非线性效应的大小,这对非线性的补偿以及超高速长距离系统的设计将具有重要的研究意义。基于以上目标,本文主要研究了光纤中非线性效应的频域估计方法,且研究内容可分为两个部分：第一、基于偏振复用(Coherent Optical Orthogonal Frequency Division Multiplexing,CO-OFDM)系统仿真平台(以下简称CO-OFDM系统),不同光通信系统链路参数,不同CO-OFDM设计参数下频域非线性效应估计方法的研究。第二、基于偏振复用的奈奎斯特单载波系统仿真平台(以下简称Nyquist系统)在不同光通信系统参数,不同Nyquist系统设计参数下频域非线性效应估计方法。通过全面深入的研究我们得到如下两点结论：第一、基于CO-OFDM系统的频域非线性效应估计方法存在一定的局限性,对于16符号正交幅度调制(16-QAM)等高阶调制格式并不适用,其原因可能在于这种频域非线性效应估计方法将非线性噪声简单的当做是加性噪声,显然是忽略了非线性噪声中应当包括相位噪声的情况。我们研究组首次提出PM-16QAM调制CO-OFDM系统中非线性噪声的分布特性是偏离高斯分布的,并通过大量的仿真进行了验证。我们同时还发现非线性噪声的方差跟发射功率或者传输距离的对数之间的关系呈现出简单线性关系。第二、在对基于Nyquist系统的非线性效应估计方法研究过程中,我们发现暴力积分(Brute-Force Integration)的非线性噪声估计方法在对单信道传输系统中经过单个span链路传输后的信号进行非线性噪声估计时,其估计结果比较准确,具有一定的参考价值。但对于单信道经过多个span传输的信号,暴力积分估计方法不再适用。更合适的方法是将发射端的信号功率谱密度看做恒定的值,仅计算中心频率处非线性噪声的功率谱密度值；结果证明应用此种方法,对于所有的调制格式,不同色散补偿条件下仿真与理论估计结果得到的功率谱密度都吻合的很好。综上所述,本文对超级信道的两种备选应用技术CO-OFDM以及Nyquist系统进行了详细的非线性效应估计方法研究,主要的创新以及成果如下：1、详细研究了基于CO-OFDM系统仿真平台在不同光通信系统链路参数,不同CO-OFDM设计参数下频域非线性效应估计方法。证明了基于CO-OFDM平台的非线性效应闭解模型不适用于16QAM及更高阶调制格式调制格式。2、基于前一项研究成果,本文通过对16QAM调制的高速传输系统中非线性噪声分布模型的深层分析,得到基于16QAM调制的系统中非线性噪声分布偏离高斯分布的重要结论,不仅从侧面解释了现有的非线性模型的不准确性,且对建立更加完备的非线性效应模型提供了研究方向。3、本文较为完备的研究了基于偏振复用的奈奎斯特单载波系统仿真平台,在不同光通信系统链路参数,不同Nyquist系统设计参数下频域非线性效应估计方法。完整验证了暴力积分(Brute Force Integration)方法在此系统中不同仿真条件下的效果。