本论文的研究工作是围绕着40Gbit/s光传输系统信号的传输性能展开的。偏振模色散(PMD)的随机性给40Gbit/s信号的传输及补偿带来了困难，本论文从偏振模色散及其统计特性入手，研究了PMD对40Gbit/s光信号的作用，并以此作为基础，对群速度色散，非线性效应以及PMD对信号的共同作用进行了研究。在相同条件下，40Gbit/s信号的传输距离远远小于10Gbit/s信号的传输距离，而通过使用前向纠错编码(FEC)，采用合适的调制格式，以及对传输中的群速度色散和PMD进行有效的补偿，都能显著提高40Gbit/s信号的传输距离。本文重点研究了多种调制格式下信号的传输性能，以及40Gbit/s光传输系统中的群速度色散补偿方案和PMD补偿方案。最后，文章给出了40Gbit/s光传输系统的研究现状及其应用前景。 论文的主要工作包括(标识(★)部分为创新内容)：1.系统全面地介绍了PMD的基本理论。 2.深入研究了光纤的级联模型，给出了选择不同级联参数时，级联模型的输出特性(★)。 3.利用光纤的级联模型对光纤中PMD的统计特性进行了深入系统的研究；针对一阶和二阶PMD矢量的统计分布，本文通过仿真验证了级联模型的正确性；在此基础上，本文研究了一阶和二阶PMD矢量的统计相关性，并给出了二阶PMD矢量的统计量随着差分群时延(DGD)变化的规律。 4.深入系统地分析了一阶PMD矢量和二阶PMD矢量对40Gbit/s信号的作用，及其引起的系统损伤(★)。给出了二阶PMD矢量引起的系统损伤随输入信号偏振态变化的规律(★)。 5.(★)为了对比PMD引起的系统损伤与一阶近似下PMD造成的系统损伤之间的差异，本文建立了分析模型，研究了两种情况下系统损伤分布的特点，并分析了高阶PMD引起的系统损伤随DGD变化的规律。 6.对于给定光传输系统，在确定系统DGD的均值后，即可确定一阶和二阶PMD矢量的分布。但系统出现较大一阶和/或二阶PMD矢量(与一阶和二阶PMD矢量的方均根值相比)的概率极小。在研究PMD引起的系统损伤和系统出界概率时，要求尽可能多地增加这些小概率事件的发生频数。重点取样法在改变随机事件概率密度分布的同时，能够保证统计量的正确性，因此，本论文系统地介绍了重点取样法的基本理论，并提出了基于重点取样法的PMD仿真模型(★)。 7.本文将耦合的非线性薛定谔方程组CNLS(CoupledNon-LinearSchr(o)dingerQuation)作为研究40G信号传输的数学模型，给出了考虑PMD时CNLS方程组的数值解法(★)，并提出了基于重点取样法的光纤传输模型(★)。8.研究了单信道系统中非线性效应与偏振模色散的相互作用，特别是利用重点取样法研究了高阶PMD与非线性效应的相互作用(★)。 9.推导了DWDM系统中任意信道的CNLS方程组，并将其作为40Gbit/sDWDM系统信号传输的数学模型，以此为基础对40Gbit/sDWDM系统的信号传输进行了仿真研究。 10.(★)对40Gbit/s系统中，调制格式对光信号传输性能的影响进行了深入的研究，并给出了优化光信号调制格式的思路。 11.系统分析了40Gbit/s光传输系统群速度色散补偿和PMD补偿的原理和方法。 12.系统分析了40Gbit/s光传输系统的商用化模式及商用化进程。