随着互联网和信息社会的日益发展,人们对通信系统的传输速率和传输容量提出了极大的需求。相干光通信技术和偏分复用技术的出现有效地提高了传输速率和传输容量,但是偏振相关损耗(Polarization Dependent Loss,PDL)会严重破坏信号的传输质量。数字信号处理(Digital signal processing,DSP)技术可以对一些损耗进行补偿,但是传统的DSP算法能够解决的问题较为单一,对于复杂的计算显得力不从心,难以应对高速、长距离传输后信号极度恶化的实际问题。本论文在相干光通信中利用机器学习算法,针对PDL严重制约偏分复用系统性能的问题,提出了快速估计和补偿PDL的方法,提高了偏分复用系统中PDL的测量精度和补偿效果,实现了相干光通信系统中的PDL损伤估计和补偿。本论文的主要创新点如下:第一,针对传统的PDL测量方法需要高精度仪器存在人为误差,以及现有DSP算法的测量精度欠佳的问题,基于高斯混合模型(Gaussian Mixture Model,GMM)和期望最大化(Expectation Maximization,EM)算法,提出了一种在相干光通信DSP中快速估计PDL的方法。本论文提出的方法在112Gbit/s偏分复用相干光纤传输系统的仿真平台上完成验证,不仅避免了在传统的PDL测量中由于光器件的准确性和精度限制带来的误差,而且相比于传统估计PDL的DSP算法降低了 1.4%的平均偏差,提高了测量精度。第二,针对相干光通信中补偿PDL的传统DSP算法缺乏智能学习能力、表现性能欠佳的问题,提出了一种基于深度神经网络(Deep Neural Network,DNN)在相干光通信DSP中进行PDL补偿的方法。在112Gbit/s偏分复用相干光通信仿真平台的基础上,完成了方案的验证。结果表明,该方法能够有效地补偿PDL引起的信号损伤,大幅度降低二进制误码率(Bit Error Ratio,BER),最大传输距离提高约 200km,误差矢量幅度(Error Vector Magnitude,EVM)增益约 3.8dB。该方法可以适应不同传输距离和不同PDL强度的链路场景,与传统的DSP算法相比,提高了 0.8dB的EVM增益。