当前,随着宽带网络的快速发展,海量的数据业务需求引发了各式各样的致力于低成本、高速率的光纤传输系统的开发和研究。光纤传输网正经历着从10Gb/s系统到40Gb/s系统甚至到100Gb/s系统的飞跃,传输距离也大大增加。然而,随着数据量的增加,许多光纤传输中的有害机制成为系统进一步升级的制约因素。色散,作为制约因素的一种,在高速光纤通信系统中对性能的影响起着举足轻重的作用。色散会造成脉冲展宽,并最终导致码间干扰、误码率增加和系统传输性能降低。相较于传统的基于光域的色散补偿方法,电子色散补偿技术由于低成本、自适应性强等特点引起了广泛关注,成为近几年研究的热点。针对光纤链路中随着传输速率的提高、传输距离的增加所带来的信号严重损失,电子色散补偿技术具有强大的处理能力来消除信号畸变带来的影响。被动均衡技术与主动均衡技术可以看作是电子色散补偿的两种方案。被动均衡采用新型调制码型,充分利用其具有的较高色散容限和非线性容限、频谱利用率等特性来提升系统系能。该方案是是一种色散缓解措施。在传统的强度调制/直接检测光纤通信系统中,最常见的NRZ码型已经不能适应长距离传输的要求。新型的基于强度调制的不同占空比RZ码型和基于相位调制的DPSK、DQPSK等由于具有上述的特性更加受到人们关注。目前,伴随着调制技术的进一步发展,产生了频率效率更高的偏振复用系统和正交频分复用系统。信息载体也从基本的幅度、相位信息延伸到偏振态、频率等参量中去。被动均衡技术是为一种“预防式”的均衡技术,其消除信号损伤的作用弱于“主动式”补偿均衡技术。信号损伤对系统的影响不能完全消除被被动均衡技术消除,因而为了能更为有效的减少信号损伤的影响,使得系统性能得以提升,必须采用另外-种具有补偿功能的主动均衡技术。几种典型的均衡器可以作为这种主动式电子色散补偿方案,包括前馈均衡器、判决反馈均衡器和最大似然序列估计均衡器。这些均衡器可以相应的对光纤传输中的色度色散、偏振模色散进行有效补偿。而且随着电子技术以及信号处理技术的飞速发展,被人遗忘的相干检测技术由于其具有卓越的性能得到了重生。在接收机的数字信号处理模块中绝大多数电子色散方案都可以进行。本文针对光纤中的色散现象研究了新型调制格式及其传输性能,直接检测光纤通信系统的电子色散补偿技术以及偏振复用相干检测光纤通信系统的电子色散补偿技术。主要工作可以分为如下几个部分：(1)分析光纤色散的成因以及色度色散、偏振模色散的数学描述形式。简要介绍了基于光学方法的色散补偿技术和基于电域处理的色散补偿技术；(2)研究和分析了包括不同占空比的强度调制和各种相位调制的新型码型。通过Optisystem建立起完整的系统性能综合评估仿真平台,对新型调制格式的色散效应和其他的性能指标,包括非线性容限、接收机灵敏度、噪声灵敏度等进行仿真比较分析。(3)研究了前馈均衡器、判决反馈均衡器和最大似然序列估计均衡器的结构以及特点。分析了基于最小均方误差估计的LMS自适应算法。针对最大似然序列估计均衡器在光纤通信系统中的应用,提出了一种基于柱状图概率密度函数的信道估计方法和基于转换的Viterbi算法。通过Optisystem和Matlab联合仿真了不同均衡器结构在不同调制格式下的色散补偿性能。(4)分析了一种偏振复用QPSK相干检测光纤通信系统。研究产生偏振复用调制格式产生的方法,分析偏振模色散和偏振相关损耗对偏振复用系统所产生的影响。详细介绍了接收机DSP模块中的关键技术。(5)针对解复用算法进行了分析和研究。对恒模算法(CMA)在解复用过程中产生的奇异点现象进行探讨。阐明了奇异点在庞加莱球上的表现形式以及物理本质。分析CMA初始化对消除解复用过程中奇异性的方法。当光纤通信系统中的偏振相关损耗影响不可忽略时,提出约束自重置的CMA和基于负熵最大化的C-QAM独立分量分析算法两种方案进行解复用。最后通过Optisystem和Matlab联合仿真,对偏振复用相干检测光纤通信系统进行了建模和仿真分析。