偏移正交幅度调制滤波器组多载波调制（Filter bank Multicarrier/offset quadrature amplitude modulation,FBMC/OQAM）是一种基于良好时频对称特性滤波器调制的多载波技术,其具有频谱利用率高、符号间干扰及子载波间干扰小的特点。但FBMC相邻子载波间的正交性仅发生在实数域,系统存在固有虚部干扰（IMI）。IMI叠加相位噪声和频偏产生新的串扰,使原本基于正交频分复用的算法难以应用,故探索新的方法解决IMI、实现相位损伤和频偏补偿是FBMC/OQAM系统的主要问题。本论文探讨了FBMC/OQAM出现IMI的原因,分析了相位噪声和频偏的机理,搭建了CO-FBMC/OQAM仿真系统进行相位噪声和频偏补偿的研究。论文研究了基于卡尔曼滤波（Kalman filter,KF）的相位噪声估计算法,KF可对相位噪声进行拟合,在分析基于盲估计算法的拓展卡尔曼算法（blind extend Kalman filter,B-EKF）对相位噪声估计算法缺点的基础上,提出了基于导频的EKF（pilot extend Kalman filter,P-EKF）算法,通过对导频的设计,使导频不受到IMI影响,从而确保导频符号记录相位噪声的准确性。结果表明在同样的OSNR下,P-EKF可补偿的归一化线宽为1.344×10^-2,而B-EKF为4.48×10 ^3-,M-BPS为2.24×10^-3。同时其对残余频偏的容忍度分别为±3500kHz,±1500kHz,±300kHz。所提算法有效提高了系统的性能。对基于伪导频的相位噪声与频偏联合估计方法进行了研究。针对现有的SC算法受高斯噪声影响过大的问题,探索了新的频偏估计方法,利用导频在频域进行频偏估计,使该方法不受高斯噪声影响,并且利用伪导频进行相位噪声的处理,降低了计算复杂度,提升了频谱效率。研究结果表明,本方法在归一化线宽为1.28×10^3-的情况下,所需的OSNR为17dB,且当系统的传输速率为20 Gbaud时可容忍的频偏为±10GHz。所提算法可以适用于低成本大线宽的激光器,可以促进相干系统的低成本化。本论文的研究成果对于下一代高速大容量长距离光纤通信系统的发展具有重要的现实意义和理论价值。