近些年来,轨道角动量(OAM)复用技术作为一种全新的复用技术逐渐走进了人们的视野。利用不同拓扑荷的OAM模态之间互相正交的特点,研究者把OAM光束作为一种信息载体应用于复用技术之中,实现信息的有效传输,大幅度提高了信道容量和频谱效率。然而在实际应用中,传输信道中的干扰破坏了不同拓扑荷的OAM模态之间的正交性,使得能量会向拓扑荷数相近的OAM模态扩散,从而造成了模间串扰,影响了系统的性能,所以如何抑制OAM复用系统中的模间串扰成为OAM光通信中的一个研究热点。针对这个问题,本文首先对OAM复用系统中的模间串扰进行分析,然后采用多输入多输出(MIMO)均衡算法来抑制模间串扰,最后结合仿真结果分析了MIMO均衡对于模间串扰的抑制效果,对均衡前与均衡后的系统性能进行了比较。本文的主要内容如下:(1)介绍OAM复用系统的有关概念,借助Optisystem与MATLAB仿真软件搭建了自由空间与光纤信道OAM复用系统,并对两种不同信道的OAM复用系统的模间串扰进行了理论研究和模拟仿真。(2)提出并实现了独立成分分析(ICA)算法对OAM复用系统的串扰抑制。ICA算法是MIMO均衡算法中的一种,可以有效的实现信号的分离。本文以极大化非高斯性为判据建立目标函数,采用梯度下降法作为优化算法,将ICA算法分别应用到自由空间OAM复用系统和光纤信道OAM复用系统中,实现混合信号的分离,从而降低了模间串扰对系统的影响。仿真结果表明ICA算法可以有效的抑制模间串扰,提高了系统的性能。(3)针对传统ICA算法中迭代步长固定的问题,提出并实现了CSO-ICA算法。本文将CSO算法作为ICA算法的优化算法,使得改进的ICA算法可以自适应的调整迭代步长,从而提高了算法的迭代速度。通过仿真实现了CSO-ICA算法对自由空间与光纤信道OAM复用系统的模间串扰的抑制,结果表明,CSO-相较于传统ICA算法,CSO-ICA算法的迭代速度提高了一个数量级。在模间串扰的抑制效果上,两种算法性能相近。