随着移动互联网、云计算、VR和AR等新业务的快速发展,数据流量处于爆炸式增长,网络容量逐渐达到瓶颈,因此,下一代光纤通信系统必须满足超高速率、超大容量等特点。各种复用技术是增大容量的有效途径,目前可用于复用的光场维度已陆续被开发,并相继应用到商用单模光纤传输系统中。为了进一步提高传输容量来满足未来的带宽需求,探索新的复用维度是解决当前容量危机的最有效的方法。为此,人们提出了基于轨道角动量(OAM)的空分复用(SDM)技术。不同拓扑荷对应的OAM模式彼此正交,理论上可以进行无限的复用,并可以与其他复用技术相结合,最终达到提高通信容量的目的。在OAM复用技术应用到下一代基于新型复用技术的光纤通信系统的同时,也带来了一些亟待解决的问题,尤其是OAM模式串扰问题,即包括模内串扰和模间串扰。OAM模式间的串扰会使系统的传输性能下降,造成接收端信号的误码率增大,因此成为限制基于OAM的SDM技术发展和应用的主要因素之一。本文主要围绕OAM复用光纤通信系统中的模式串扰进行研究,主要研究内容如下:1.基于环状光纤中OAM模式的理论基础,利用有限元法仿真分析了非理想环状光纤的椭圆度和不同心度对OAM模式模内串扰的影响。主要从OAM模式奇-偶模之间的有效折射率差、走离长度、模场强度分布等方面进行研究,并详细分析了导致OAM模内串扰的因素,为下一步OAM光纤的拉制提供了一定的理论指导。2.详细介绍了OAM模式的产生原理以及空间光调制器(SLM)的工作原理,并搭建了基于SLM的OAM产生系统,完成了单一OAM模式、分数阶OAM模式和叠加OAM模式的产生实验,最后完成了OAM模式与基模高斯模式的干涉实验。实现了高纯度、低串扰OAM模式的产生和检测,最后介绍了OAM模式串扰的补偿方法。3.提出了基于椭圆柱坐标系的OAM模式串扰分析方法,详细推导了具有一定椭圆度的环状光纤在椭圆柱坐标系中波动方程解的形式,并介绍了分析OAM模式串扰数值计算的方法,为环状光纤中OAM模式串扰的深入研究提供了理论指导。