在高速光纤通信系统中，随着掺铒光纤放大器，非零色散位移光纤等技术的不断成熟，使得衰减、非线性效应、色度色散等对于系统的影响大为减小。而由光纤的双折射效应引起偏振模色散已经成为新的限制系统传输性能的重要因素。它引起信号的脉冲展宽，加剧了码间干扰，使接收系统的误码率上升。由于光纤中偏振相关损耗总是存在的，不仅影响传输信号的功率，还会同偏振模色散相互作用，改变偏振主态的特性，影响偏振模色散的补偿效果。本文着重研究了偏振模色散和偏振相关损耗共同作用下传输系统的特性，及偏振模色散的补偿技术。首先，对描述偏振模色散的有关理论基础进行了总结，包括偏振模色散的起因、偏振模色散的数学描述、偏振模色散的定义、统计特性及测量技术。其次，推导了偏振模色散作用下的信号均方根脉宽解析表达式、偏振模色散和偏振相关损耗共同作用下的信号均方根脉宽解析表达式；并以两段偏振模色散光纤夹一段偏振相关损耗光纤所构成的三段级联线路为基本的研究对象进行研究，推导了该研究对象总的偏振模色散矢量解析表达式及差分群时延的解析表达式；研究了偏振相关损耗对偏振主态的影响，及偏振相关损耗和偏振模色散共同作用下传输信号强度变化情况。通过数值模拟研究了偏振相关损耗对一阶偏振模色散和二阶偏振模色散各个分量的影响。最后，介绍了偏振模色散自适应补偿系统各主要组成部分的结构和工作原理，包括偏振模色散模拟器设计、偏振度的提取及偏振控制器的工作原理。并在分析一阶、二阶偏振模色散补偿原理的基础上，研究了一种可以根据反馈信号偏振度的大小改变搜索步长的二阶偏振模色散自适应补偿算法。该算法具有收敛速度快，避免陷入局部极值点，减少线路信号的瞬间恶化以及抗噪声干扰性强等特点。并通过仿真实验分析了该补偿算法的效果。