相干光正交频分复用(Coherent Optical Orthogonal Frequency Division Multiplexing,CO-OFDM)技术是一种适用于长距离高速率光通信系统的多载波技术。CO-OFDM系统具有较强的抗偏振模色散(Polarzaion Mode Dispersion,PMD)和色度色散(Chromatic Dispersion,CD)能力,但对相位噪声也更加敏感,特别是发送端和接收端的激光器不匹配造成的相位噪声。相位噪声对系统的影响可分为引起星座图旋转的公共相位误差(Common Phase Error,CPE)和引起星座点发散的子载波间干扰(Inter-Carrier Interference,ICI)。现阶段可通过线宽更窄的激光器或采用相位噪声补偿算法降低相位噪声对系统的干扰。但激光器线宽越窄,硬件成本越高,设备更新维护越复杂。因此,可及时更新、成本低的相位噪声补偿算法是主要的研究方向。本文主要研究内容如下:1.结合CO-OFDM系统的结构和基本原理,对相位噪声产生的原因进行详细分析,并根据主要因素建立相位噪声数学模型,通过理论推导和仿真验证系统主要参数和相位噪声对系统传输性能的影响。分析现阶段相位噪声补偿算法的分类以及改进方向,并针对相位噪声补偿算法存在的问题进行探讨,为本文提出的相位噪声算法提供理论依据。2.针对相位噪声较大情况时,CO-OFDM系统对激光线宽的容忍度较低的问题进行研究,并提出了一种新颖的容积卡尔曼相位噪声补偿算法。该算法通过少量的导频子载波,运用扩展卡尔曼滤波(Extended Kalman Filter,EKF)算法和线性插值对相位噪声进行粗补偿,然后将初步补偿后的信号经快速傅里叶变换(Fast Fourier Transformation,FFT)后对信号进行预判决,然后通过预判决后的信号和FFT后的信号进行次符号处理,结合容积卡尔曼滤波(Cubature Kalman Filter,CKF)算法对相位噪声进行精细补偿。并通过二次迭代增强其补偿精度。改进后的算法能在相位噪声较大时对产生的ICI进行有效补偿,改善CO-OFDM系统对激光器线宽的容忍度,提高系统的性能。3.基于自消除(Self Cancellation,SC)算法的算法复杂度低的优势,提出了一种结合线性组合SC(Linear Combination SC,LCSC)算法和判决反馈(Decision Feedback,DF)算法的新颖相位噪声补偿算法。该算法通过线性组合提高SC算法的子载波利用率,并于接收端通过LCSC算法的冗余信息代替DF算法所需的虚拟子载波的作用,提高了补偿算法的误码率性能。改进后的算法综合考虑了误码率性能和子载波利用率,使提出的LCSC-DF算法具有较好的传输性能。