随着信息技术的发展，光纤通信的传输速率和距离在不断增加，在10Gb/s以上的高速光纤通信系统中，曾经被人们忽视的偏振模色散问题对系统性能造成愈来愈严重的影响，已经成为限制光纤通信系统容量和距离的最终因素。对光纤偏振模色散进行补偿显得尤为迫切。 在国家863项目“光纤偏振模色散自适应补偿技术”的支持下，本论文在对偏振模色散理论进行分析的基础上，对各种偏振模色散补偿方案进行了深入的分析研究，并着重研究了10Gb/s和40Gb/s的光纤通信系统中，优化算法在偏振模色散(PMD)自适应补偿技术中的应用。实验中采用了偏振模色散在线监测技术，偏振模色散在线监测技术是建立在偏振度(DOP)的基础上，偏振度随着微分群时延(DGD)的增加而减小。为了使用DOP作为PMD的监测反馈信号，需要在传输线路中模拟DGD的状态，我们采用了磁光晶体材料PMD仿真器。在仿真器后为PMD补偿器，它包括偏振控制器(PC)、保偏光纤、可变时延线等PMD补偿元件；DOP在线监测装置；反馈控制电路；控制算法等几部分。当反馈信号到达控制计算机，优化程序运行，寻找全局最优点，并通过补偿元件来控制线路中总的PMD大小，使得DOP达到最大或PMD最小。本文对现代非线性优化算法(禁忌搜索、模拟退火算法、遗传算法、人工神经网络、蚁群算法等)进行了详细讨论，比较了他们在PMD自适应补偿技术中的优缺点。在实验过程中选择遗传算法，取得良好效果。在很短时间内二阶PMD能达到最大补偿效果，其动态补偿时间不超过1s。具有很好的应用前景。