伴随着移动通信、数字多媒体业务的发展,人们对接入网与主干传输网络的带宽要求也越来越高。单载波频域均衡(Single-carrier Frequency Domain Equalization,SCFDE)技术由于具有较低的发送端复杂度、良好的传输性能等优点,在光通信系统中得到了大量的研究。此外为满足未来对大容量长距离光传输网络的需求,SCFDE 结合偏振复用(Polarization-division Multiplexing,PDM)的技术成为一种有效的解决方案。目前,利用数字信号处理(Digital SignalProcessing,DSP)技术代替光域补偿降低了器件成本,但带来的信号冗余及均衡不理想等问题不容忽视。本文对PDM-SCFDE相干光传输系统中DSP模块的均衡及判决反馈算法进行了研究和分析,主要研究成果如下:1.提出了一种联合频域正交训练序列与重叠频域均衡(Overlap Frequency-domain Equalization,OFDE)的方法,并在 PDM-SCFDE 系统中进行了仿真验证。利用频域正交训练序列进行信道估计,降低了传输信号的冗余度,并有着较好的信道估计准确精度。采用OFDE算法,使得发送端不需要添加任何循环前缀(Cyclic Prefix,CP),并能够获得良好的系统性能。同时,OFDE结合频域正交训练序列能有效提高带宽利用率。此外,搭建了 224-Gb/s PDM-SCFDE相干光传输系统,对所提的方法进行了仿真和比较,分析了 OFDE重叠长度与系统性能的关系。仿真结果表明提出的方法能获得更好的系统性能及更高的净比特速率。2.提出了一种基于OFDE技术的消除残留符号间串扰(Inter Symbol Interference,ISI)的判决反馈算法,并在PDM-SCFDE系统中进行了仿真验证。在长距离光纤传输系统中,最小均方误差(Minimum Mean Square Error,MMSE)均衡算法有着比迫零均衡更好的抗噪音效果,但均衡后存在残留ISI。提出的基于OFDE的消除ISI判决反馈算法,在PDM系统中利用判决反馈结果消除了 MMSE均衡后信号的残留干扰,并提高了带宽利用率。仿真结果表明提出的基于OFDE消除ISI判决反馈算法能在提高带宽利用率的基础上,进一步降低误码率(Bit Error Rate,BER),提高系统性能。