近年来,为了应对人们日渐增长的通信带宽需求,基于高级调制格式-相干探测技术的相干光通信系统在光通信领域得到了广泛的研究。一方面,高级调制格式的应用能够有效地提高系统频谱效率,提升系统单信道传输容量；另一方面,采用相干探测技术能够在接收端使用线下数字信号处理(DSP)技术实现链路损伤的电域均衡补偿,进一步降低系统成本。本文通过广泛调研当前国内外相干光通信主要技术的发展状况与研究热点,重点研究了相干光通信系统中接收端DSP补偿算法的设计与实现。主要内容包括：一、介绍了本课题的选题背景和研究意义,论述了相干探测技术在光通信系统应用的发展历史与研究现状,分析了相干光通信系统DSP补偿算法的重要研究价值；二、详细论述了相干光通信系统光纤链路中的各类损伤的形成机制与相应补偿方案；分析了当前已有的多种色散与非线性补偿算法,从算法实现复杂度,补偿处理效果等方面对算法进行了性能比较；研究了恒模算法(Constant Modulus Algorithm, CMA)实现偏振模色散补偿的机制,并对几种修正的CMA进行了介绍；三、详细讨论了相干接收机线下数字信号处理的实现,重点分析了DSP中各种均衡补偿算法,包括光纤色散与非线性和偏振模色散联合补偿算法,四次方频率偏移估计算法,Viterbi-Viterbi相位偏移估计算法等,对各个算法的实现方案进行分析；四、提出一种数字后向传输(Digital Backward Propagation, DBP)算法,实现对相干光通信系统中色散与非线性的补偿和消除,利用所提DBP算法对光载超宽带(Ultra Wide Band over Fiber, UWBoF)通信系统进行色散与非线性补偿研究。结果表明,DBP算法成功的移除UWB信号中的链路损伤。补偿后UWB信号传输72km,与发送信号的相关系数在0.9以上。当传输距离在200km以内时,补偿后的信号相关系数均保持很高的值,位于0.95以上。此外,论文从算法实现复杂度出发,研究分析了三种DBP算法的优化设计方案；五、仿真搭建了偏振复用QPSK相干光通信系统,分析了线下DSP对于系统链路线性和非线性损伤的补偿。仿真中,速率为40Gbit/s的偏振复用QPSK调制光信号在光纤中传输了200公里,通过联合采用数字后向传输色散与非线性补偿,偏振模色散补偿和载波恢复算法,接收端数据处理后的星座图达到了良好效果。最后,对本论文进行了总结,同时对后续的研究工作提出了设想与展望。