近年来，现代社会对通信系统传输速率的要求不断提高，极大地刺激了光纤传输系统向超高速和超长距离的方向发展，与此同时因光纤信道自身的特点而导致的色度色散和偏振模色散对光纤传输系统性能的影响也越发严重了。作为光纤信道中的线性效应，色度色散和偏振模色散使光脉冲在传输过程中发生展宽畸变从而在接收机处产生码间串扰，并严重地影响系统的误码性能。为此，人们提出了许多新技术来克服或者抑制色度色散和偏振模色散，如采用新型的调制格式，线性编码技术，新型光纤，光均衡技术以及电均衡技术。本论文的主要工作是研究光以及电均衡技术在光纤通信系统中的应用。 本论文首先分析了光纤中的色度色散以及偏振模色散效应，给出了它们引起码间串扰的机理。导出了考虑色度色散和偏振模色散时光纤信道的传输函数。导出了分布式放置光放大器的幅度调制直接检测光纤通信系统的低通等效模型，并将该模型用于论文中光、电均衡技术的研究。 紧接着，本论文研究了光均衡技术在光纤通信系统中的应用。首先介绍了描述光纤信道中偏振模色散效应的重要参数偏振模色散向量，分析了其统计特性。接着讨论了经典的偏振模色散模型，详细推导了全阶偏振模色散模型，并证实了其准确性。论文分析了常用的一阶偏振模色散光均衡器以及典型的高阶偏振模色散光均衡器的优势以及存在的问题。针对这些光均衡器存在的问题，本论文提出了一种新型的高阶偏振模色散光均衡器，并对其性能进行了仿真评估。仿真结果表明，该均衡器在不增加系统结构复杂度的前提下，简化了控制算法，降低了对反馈信号的要求，同时具有一定优于一阶偏振模色散光均衡器的均衡效果。 本论文在马尔可夫蒙特卡罗仿真的经典理论的基础上，实现了如何使用马尔可夫蒙特卡罗仿真方法评估采用高阶偏振模色散光均衡器的光纤通信系统的故障(Outage)概率。并且使用马尔可夫蒙特卡罗仿真方法评估了本论文提出的新型高阶偏振模色散光均衡器的性能。 最后，本论文研究了基于数字信号处理的电均衡技术在光纤通信系统中的应用。推导了幅度调制直接检测光纤通信系统的离散时间信道模型。介绍了最大似然序列估计以及迭代最大后验概率均衡在光纤通信系统中的应用，分析了这两种电均衡技术存在的问题。针对这些问题，本论文提出了一种新的迭代均衡算法：迭代最小均方误差均衡，该技术可以有效的抑制由信道中的线性效应导致的码间串扰，与最大似然序列估计相比，具有更好的均衡效果。