随着现代信息技术智能化、数字化高速发展,现有通信方式的传输速率、信息的可靠性,覆盖的区域范围已经无法满足用户生活日益增长的需求。通信领域上采用时分、波分、偏振以及正交频分复用方式进一步提高了信道容量。但由于光频谱资源的有限性,这些方式只是缓解了频谱效率、信道容量和用户需求之间的矛盾。因而需要探索一种新的通信方式,可以大幅提升信道容量和频谱效率,实现量级的增长。近年来,携带轨道角动量(Orbital Angular Momentum,OAM)的涡旋光束受到学者广泛的关注。轨道角动量态拥有无穷个本征态,不同态之间模式正交,给光通信领域增加了新的自由度。将OAM与其他复用方式相结合,对其进行编码,用作载波携带信息,可以大幅提升系统的信道容量,对光通信领域新技术的发展具有很大的推动作用。为此涡旋光束在自由空间进行传输的复用方式、传输特性以及接收端检测轨道角动量态的方法成为了研究热点。本论文研究了三值正负拉盖尔高斯(Laguerre-Gaussian,LG)光束叠加生成的旋转光束在自由空间的传输特性,并对拉盖尔高斯光束空间复用双环结构在大气湍流下的传输特性进行了 Matlab数值仿真研究和分析,最后利用卷积神经网络对双环结构的轨道角动量复用态进行检测,具体的研究内容如下:(1)研究了三值正负拉盖尔高斯光束叠加生成的旋转光束在自由空间无湍流下的传输特性,仿真分析了旋转光束的强度和相位分布图,该仿真结果可以作为实验中生成旋转光束和快速直接判断初始轨道角动量态的参考依据,同时研究分析了影响旋转光束角速度的几个重要因素,从而对角速度的大小和方向进行有效地控制。(2)建立了大气湍流信道模型,实现了拉盖尔高斯光束空间复用双环结构,并将该双环结构在大气湍流信道中进行传输,通过Matlab数值仿真,分析了光束自身光源特性、不同大气湍流强度以及不同轨道角动量态的模式组合对双环结构传输后系统性能的影响。(3)基于卷积神经网络对拉盖尔高斯光束空间复用双环结构在不同大气湍流强度下的传输结果进行检测,分别对网络进行训练,测试和参数优化,结果表明卷积神经网络的模式识别方法准确率高,分类效果较为准确。