随着大数据时代来临,大容量、高速率、长距离的传输系统必然是未来的主流。相干光正交频分复用技术(CO-OFDM)作为相干光技术和正交频分复用(OFDM)技术的共同产物,对两者的优势兼而有之,可以在新一代高速光网络中扮演重要角色。近年来,机器学习技术在计算机科学领域取得了非常成功的应用,自然而然在光通信领域也将发挥重要作用。在CO-OFDM中,由于信号峰均比(PAPR)比较大,在元器件的非线性特性作用下,会严重劣化系统性能。因此,本文针对相干光OFDM非线性补偿进行了理论分析和仿真研究。首先使用VPI仿真软件和MATLAB根据CO-OFDM原理搭建CO-OFDM系统。然后提出基于多层感知机神经网络(MLP-ANN)技术的非线性补偿方案。在十六进制正交振幅调制(16-QAM)相干光正交频分复用系统中,相比线性均衡器,MLP-ANN非线性均衡器(NLE)在传输600 km,2000 km单模光纤时可以分别提升Q值1.4 dB、0.6 dB,并且具有较强的鲁棒性。另外,在相干光OFDM中,由于信道存在衰落,子信道状态条件并非一致。传统功率分配方案要么没有考虑不同子信道具体的状态条件而盲目将所有子信道当做一样来对待;要么忽略了非线性效应和子载波间的相互作用,而假定子载波的信噪比和发射功率呈现简单的线性关系。这必然影响信道传输性能,使系统传输容量不能最大化。因此本文也针对相干光OFDM子载波功率分配进行了理论和仿真研究。仿真结果表明,提出的基于神经网络和遗传算法功率分配方案相比传统功率分配方案可以为各个子信道匹配更加合适的功率,从而提升系统误码性能。