偏振复用相干光正交频分复用（PDM CO-OFDM）技术作为通信领域近年来的研究热点,结合了偏振复用、相干检测以及OFDM的长处,具有信道容量大、传输距离长、传输速率快、色散（CD）及偏振模色散（PMD）容忍度高和频谱效率高的优势。但是,器件的非理想性会导致IQ调制以及相干检测时发射端、接收端的同相信号和正交相信号间的相位以及幅度不平衡,收发两端激光器的线宽会引起激光器的相位噪声,以上两种因素均会造成系统性能恶化。本文主要研究了PDM CO-OFDM系统中IQ不平衡以及相位噪声抑制算法,研究内容包括:（1）提出了一种新型导频结构用于抑制发射端IQ不平衡以及相位噪声算法。针对现有文献缺少对PDM CO-OFDM系统发射端IQ不平衡和相位噪声同时进行补偿的问题,本文设计了新的导频结构包含梳状导频以及块状导频,其中梳状导频用于相位噪声估计,块状导频用于IQ不平衡估计。仿真结果表明:当以100Gb/s传输速度传输560km,线宽分别为60kHz和120kHz,相位、幅度不平衡分别为15°以及3dB的条件下,对比方法误码率在10^-1到10^-2量级而提出方法可实现误码率为1?10^-3的有效传输,计算复杂度也降低了约63%。（2）提出了一种新型导频结构用于抑制接收端IQ不平衡以及相位噪声算法。针对现有文献没有对PDM CO-OFDM系统接收端IQ不平衡以及相位噪声同时进行补偿的问题,本文在考虑相位噪声的基础上重新推导了数学模型,设计了一种新的导频结构并结合GSOP算法使之能够抑制部分残余IQ不平衡,减少信道的估计误差并对相位噪声也做了相应补偿。仿真结果表明:当以100Gb/s传输速度传输480km,线宽100kHz,相位、幅度不平衡为10°以及2dB的条件下,要达到1?10^-3的误码率所提方法的光信噪比劣化程度降低了约6dB,相位以及幅度不平衡容忍度分别提高了14°以及3dB。