色散均衡技术是光纤通信系统的关键技术之一，而电域数字均衡技术与光域色散补偿技术相比，既有体积小、成本低的优势，又可以与数字信号处理技术相结合实现优异的性能，因此数字均衡技术成为光纤通信领域的研究热点之一。受益于超大规模数字集成电路工艺的发展，以及多进制调制、相干检测、偏振复用（PDM）等技术在光通信领域的应用，数字均衡技术已成为下一代100Gbit/s光网络的必备技术。相干检测不仅能提高接收机的灵敏度，而且能保持光纤色度色散和偏振模色散对信号影响的线性，适合作为长距离光纤通信系统的检测方案。偏振复用在不改变光纤链路的情况下，增加发射机和接收机的复杂度，使得系统传输容量翻倍。偏振复用相干检测与传统的多进制调制结合常称为单载波系统，而正交频分复用（OFDM）则是多载波调制，它增加了系统的灵活性，并提供了100Gbit/s以上系统传输容量的能力。本论文主要研究偏振复用相干检测单载波系统和光正交频分复用系统的数字色散均衡技术。本论文的工作是在河北省自然科学基金项目（No. F2008000116）和国家自然科学基金项目（No.60572018）的支持下进行的。主要研究内容有：1.根据非线性薛定谔（NLS）方程，分析了30ps以上光脉冲在长距离光纤中的传输方程，研究了群速度色散（GVD）和偏振模色散（PMD）对光信号传输的影响，并分析了偏振模色散的补偿原理；研究了偏振复用相干检测单载波系统和光正交频分复用系统的线性信道模型，分析了光纤信道色度色散（CD）和偏振模色散的矩阵模型，建立了112Gbit/s偏振复用相干检测单载波系统和光正交频分复用系统的仿真模型。2.针对100Gbit/s偏振复用相干检测单载波系统，提出了一种以蝶形复数有限冲激响应（FIR）滤波器为基本结构的数字色散均衡器，以递归最小二乘（RLS）算法实现自适应，并与最小均方（LMS）算法实现自适应的均衡器相比较。仿真分析了两种算法更新的均衡器在不同信道线性损伤条件下的均衡性能。实验结果表明：递归最小二乘算法对信道残留色度色散和偏振模色散的均衡效果优于最小均方算法，在25抽头均衡器的配置下，它能以2.74dB的光信噪比代价同时补偿1760ps/nm的残留色度色散和104.9ps偏振模色散引起的平均差分群时延，与同等条件下的最小均方算法相比有2.23dB的性能提升。3.提出了一种用于100Gbit/s偏振复用相干检测单载波系统的数字色散均衡器，以蝶形复数无限冲激响应（IIR）滤波器为基本结构，以最小均方算法完成自适应。仿真分析了该均衡器在不同信道线性损伤条件下的均衡性能。实验结果表明：在21前馈抽头+2反馈抽头的配置下，该均衡器能以2.95dB的功率代价同时补偿1440ps/nm的残留色度色散和95ps的平均差分群时延。4.提出了一种基于凯撒窗函数的改进的符号内频域平均（ISFA）算法，用于改善100Gbit/s偏振复用相干检测光正交频分复用系统的信道估计和均衡在噪声环境下的性能。仿真分析了不同系统条件下改进算法与原算法的信道估计均衡性能。实验结果表明：基于凯撒窗的改进的符号内频域平均算法比原算法在性能上有所提升。改进算法用于补偿1000km常规单模光纤的群速度色散和偏振模色散达到前向纠错码（FEC）要求的误码率上限所需的光信噪比为15.73dB，比原算法低0.24dB。改进算法用于补偿900km常规单模光纤的群速度色散和偏振模色散所需的光信噪比代价为3.01dB，比原算法低0.35dB。