相干光滤波器组多载波/偏移正交幅度调制（Coherent Optical-Filter Bank Multicarrier/Offset Quadrature Amplitude Modulation,CO-FBMC/OQAM）系统作为一种相干光通信系统,因其具有高频谱效率、低子载波间串扰、较小的带外功率泄露等优势,有望用于未来的光通信网络。但是由于相干光通信系统中激光器造成的相位噪声的存在,会严重劣化系统的性能。因此,相位噪声补偿是系统中数字信号处理的重要组成部分。本文主要探讨了在CO-FBMC/OQAM系统中相位噪声产生的机制,提出了两种相位噪声补偿算法,并搭建了CO-FBMC/OQAM仿真系统对算法进行性能测试和分析。（1）论文针对基于盲估计的改进扩展卡尔曼滤波（Modified Extended Kalman Filter,MEKF）算法的缺点,提出了一种基于盲估计的无迹卡尔曼滤波（Blind-Unscented Kalman filter,B-UKF）算法。B-UKF算法采用无迹变换的方式,通过对概率密度分布的近似来取代MEKF算法对非线性函数的近似,提高了估计精度。性能测试结果表明,B-UKF算法较之MEKF算法在相位噪声估计精度以及对激光器线宽的容忍度上得到了提高。（2）论文针对虚部干扰对相位噪声估计的影响,提出了一种基于导频辅助的无迹卡尔曼滤波（Pilot-Unscented Kalman filter,P-UKF）算法。MEKF算法和具有传统导频结构的导频最大后验概率（Pilot aided Maximum a Posterior,PMAP）算法均不能消除虚部干扰的影响,因此相位噪声补偿性能会受到影响。P-UKF算法由于特殊的导频设计,基本能够消除虚部干扰对导频符号的影响,再结合无迹卡尔曼滤波对相位噪声进行补偿,最终达到了良好的效果。性能测试结果表明,P-UKF算法较之MEKF算法,提高了对激光器线宽的容忍度,在25 d B的OSNR下其可容忍的归一化线宽提高了约4倍,同时与传统的导频辅助算法PMAP算法相比,也有性能提升。