随着信息容量需求的快速增加,未来通信系统需要能够利用有限的频谱资源提供更多的通信业务、更高的通信速率和更好的通信质量。为了满足这一要求,对于光纤骨干传输网来说,单信道的传输速率需要从目前的10Gbit/s提高至40Gbit/s甚至是100Gbit/s。相干光正交频分复用(CO-OFDM)技术,融合了相干光通信技术和OFDM技术,具有高速率和高频谱利用率等优点,同时,只需要在电域采用补偿算法就能有效抑制色散及非线性损伤。因此,近年来CO-OFDM技术已经成为下一代光传输网络的主要备选技术之一。本论文基于在MATLAB平台建立了CO-OFDM仿真系统,研究了CO-OFDM系统中常见的主要问题,即光纤色散效应和非线性效应,并深入研究了相应的解决方案。针对色散效应,主要采用信道估计算法进行均衡,其中信道估计算法主要论述了基于最小二乘准则(LS)的算法和基于最小均方误差准则(LMSSE)的算法。仿真后的星座图表明,采用上述均衡算法能有效抑制色散效应所带来的损伤。针对非线性效应,主要论述如何抑制过高的峰均比(PAPR),以及通过降低CO-OFDM系统的序列相关性来抑制四波混频(FWM)效应所带来的损伤。对于峰均比,采用了限幅算法、选择映射算法以及部分序列传输算法进行仿真。仿真结果表明系统的峰均比可以明显降低,降低幅度在2.7dB到4.8dB之间；对于序列相关性,分别采用了改进后的部分序列传输法和选择映射结合限幅的算法进行仿真,仿真结果表明采用改进后的部分序列传输法后,信号在传输1000km光纤后,误码率(BER)仍小于10-3；采用了选择映射法结合限幅法后,系统的灵敏度提高了3.4dB。