随着社会的信息化，用户对通信带宽需求迅速增长，作为现代长途干线通信主体的光纤通信一直朝着高比特率、大容量、长距离传输的方向发展。单信道比特率已经从STM-16(2.5Gbit/s)转向采用STM-64(10Gbit/s)，STM-256(40Gbit/s)、甚至160Gbit/s系统也已在实验室里出现。随着单信道比特率的不断提高，光纤通信系统群速度色散、非线性效应及偏振模色散成为限制光纤通信速率和传输距离提高的三个基本因素。本论文的主要工作就集中在群速度色散补偿及与偏振模色散相关问题研究上。具体的研究工作包括： 1.DCF补偿色散的10Gbit/s系统性能的研究：研究了影响色散补偿系统性能的因素，包括光纤位置、光放大器间距及补偿比例。分析了点到点系统与环路系统的性能差异，提出了各自的优化条件。 2.CFBG补偿色散的10Gbit/s系统性能的实验研究：提出了实现环路系统长距离传输的优化设计条件，在国内首次通过啁啾光纤光栅补偿色散使得环路系统传输距离达到1000km；并分析了光栅时延波动对环路系统性能的影响。 3.PMD影响下10Gbit/s、40Gbit/s系统最佳色散补偿方案的研究：得到了PMD影响下，10Gbit/s色散补偿系统前补偿性能最优、40Gbit/s色散补偿系统后补偿性能最优的结论。这与以往文献中不考虑PMD时混合补偿系统性能最优的结论不同。 4.单模光纤中PMD仿真模型及偏振模色散仿真器的研究：提出了单模光纤不等长短双折射光纤段级联的仿真模型，并依据该模型设计了一个新型的偏振模色散仿真器。与常用的等长高双折射光纤或相同双折射晶体构成的仿真器相比，新型仿真器更能模拟实际光纤系统中偏振模色散的特性。 5.光纤中群速度色散、非线性效应及偏振模色散相互作用的研究：首次解析地研究了偏振模色散与非线性效应、偏振模色散与群速度色散的相互关系；并进一步研究了三种物理因素的联合作用。本章的最后对非线性效应抑制偏振模色散的条件和物理机制进行了研究。 6.光纤中偏振模色散(PMD)及偏振相关损耗(PDL)综合作用的研究：研究了光纤中PMD与PDL同时存在时，PMD频域、时域统计特性的变化；并进一步研究了两种偏振效应作用下40Gbit/s系统性能的变化。发现两种特殊情况下偏振相关损耗和偏振模色散的联合作用使得系统性能以大于60％的概率优于或劣于偏振模色散单独作用时的性能。