光纤通信向着高速率、大容量、远距离传输的目标发展,由于光纤损耗,需要使用光学放大,为增加传输距离,必须相应地使用越来越多的光放大器。光放大器也使噪声放大,为保持较高的信噪比,信号光功率需要增大。然而,当光信号功率超过一定值时,光纤内的非线性会增强,产生非线性干扰噪声。在长距离、高激光发射功率的光通信系统中,光纤中累积的非线性效应成为影响系统通信性能的主要因素,信号由于受到非线性而产生畸变,使得通信质量降低。常见的传统非线性补偿算法,如数字背向传输（DBP）算法、相位共轭双波传播算法等存在着一些计算复杂度过高、传输容量缩减等不足。与这些传统非线性补偿算法相比,基于机器学习的算法具有计算量较小、计算速度快、非线性拟合能力强等优点,并且已有不少研究人员将机器学习算法应用到光纤通信系统中,并证实其可行性。本课题尝试利用机器学习中的人工神经网络算法补偿光纤中累积的非线性效应。本文首先研究了光纤中非线性效应的来源及产生原理,接着探讨了神经网络模型的结构及工作原理,随后提出基于人工神经网络的算法用于补偿光纤中累积的非线性效应,并通过软件仿真光通信系统验证了神经网络的非线性均衡能力。通过仿真结果表明,经神经网络补偿后的系统误码率降低,系统星座图表现良好。文中涉及两种光通信系统,一种是常规高阶高速率的相干光通信系统,针对系统中传输的复数信号采用了复数网络结构进行均衡。另一种则是实验室近两年研究的基于单纤双向的反射式调制相干光通信系统,并首次将神经网络模型应用到这种反射式系统结构中,展现出基于人工神经网络补偿光纤非线性效应的有效性,且由于反射式系统单纤双向传输的特点和特殊的调制方式,使该系统在保密通信领域发挥作用。