在互联网流量与业务激增的时代背景下,超高速率、超大容量、超长跨距、超强防护的光纤通信系统是一个必然的发展趋势。相干光通信系统可以显著提升光纤传输容量,而量子噪声流加密（Quantum Noise Stream Cipher,QNSC）通过结合物理层加密技术,实现了高速、安全光传输。为了进一步提升上述系统的传输能力,本文主要研究相干光通信系统和量子噪声流加密系统中的非线性均衡技术。现有的非线性均衡算法通常需要较多的信号处理和传输系统的准确先验链路信息。而基于机器学习的非线性均衡方案可以实现端到端的全盲非线性均衡,不需要先验信息和复杂的信号处理。本文从机器学习算法出发,重点研究传统相干光通信系统和QNSC系统的非线性均衡策略,取得的创新性研究成果总结如下:第一,针对传统的相干光通信系统中非线性均衡算法的缺点,比如传统非线性均衡算法需要先验链路知识以及复杂的信号处理,部分基于有监督机器学习算法的非线性均衡策略需要训练开销等,本论文研究了基于模糊逻辑C均值聚类（Fuzzy Logic C-means Clustering,FLC）算法的非线性均衡方案。针对FLC算法的聚类结果容易受到随机选择的初始聚类中心点的影响,而收敛到局部最优解的缺点,引入了基于启发式算法改进的聚类算法,即基于退火进化算法改进的FLC（Fuzzy Logic C-means Clustering Based on Annealing Evolution Algorithm,FLC-AE）算法。并在16QAM 120km无中继相干光传输系统中进行了实验验证,结果表明,FLC、FLC-AE算法都能够较好地补偿光纤中的非线性损失,并且FLC-AE算法的稳定性与即时性更好。第二,为了有效提升QNSC传输系统的传输容量,同时保证QNSC系统本身的安全性能不受影响,本文研究了如何将基于机器学习的非线性均衡算法引入到QNSC系统中。针对随着调制格式阶数升高,聚类算法性能下降以及时间复杂度增大的问题,例如FLC和FLC-AE算法在64QAM传输系统中无法正常补偿光纤中的非线性损失,引入了基于减法聚类的 FLC（Fuzzy Logic C-means Clustering Based on Subtractive Clustering,FLC-SC）算法。并在 16QAM 的实验系统以及16QAM、64QAM的仿真系统中进行了验证。结果表明,FLC-SC算法能够较好地补偿光纤中的非线性损失,并且稳定性、即时性比FLC以及FLC-AE算法更好。第三,为了进一步提高算法的非线性均衡性能,本文尝试在发射端采用限幅技术,同时在接收端采用聚类算法。并在传统相干光通信系统和QNSC系统中进行验证。结果表明,相对于只使用聚类算法,两种技术的结合能够取得更好的效果。