由于高的能量效率和频带效率,结合了先进调制方式的相干检测技术已经成为下一代高速光通信网络最有前途的技术之一。利用电子技术领域强大的数字信号处理功能,相干光接收机可以良好地补偿色度色散、偏振模色散、激光相位噪声以及光纤非线性效应等传输损耗。近期,这些补偿系统损耗的数字信号处理算法的实现已成为相干通信系统中的热点研究内容。在本文中,我们进行了相干光接收机中数字色度色散补偿方法的对比研究以及数字光载波相位评估算法的详细分析。同时,我们也对偏振模色散的自适应补偿进行了简要的理论分析。为了实现这些研究工作,我们基于虚拟光学仪器平台开发了一套112-Gbit/s非归零码偏振复用正交相移键控高速相干光纤通信系统。基于此相干传输系统,主要进行了以下工作:色度色散补偿方面,我们对比了目前常用的几种数字滤波器在光纤色度色散补偿中的性能,分析了他们对于不同光纤长度的相干光纤通信系统的适应性,以及存在小幅度色散扰动变化时的适应性,并且分析了这几种数字滤波器实现的算法复杂度。从理论计算和模拟测试两个方面给出了时域色散补偿算法所需抽头数量的上限和下限,以及频域色散补偿算法所需的最小重叠数据长度和最佳傅里叶变换长度。在载波相位评估分析中,引入了数字均衡增强相位噪声的概念,并分析了其对高速相干光纤通信系统性能的影响。同时,研究了不同数字色散补偿算法对激光相位噪声的增强作用,首次发现了最小均值平方色散补偿模块能够同时等量地增强发射机和接收机相位噪声的现象。同时,针对单抽头归一化最小均值平方相位评估方法、差分相位检测方法、模块平均相位评估算法和Viterbi-Viterbi相位评估算法,给出了存在数字均衡增强相位噪声时的极限误码率的解析表达式,并且在实现的高速相干光纤通信系统中进行了验证,模拟测试结果与理论计算达到很好的吻合。