20世纪以来,利用光复振幅（幅度,相位）、时间、波长和偏振等光学物理特征对光通信系统容量进行提升已趋近上限。为了进一步提高光通信系统的容量,本文对轨道角动量（Orbital Angular Momentum,OAM）在光通信中的应用进行研究。OAM是一种新的物理维度,且与上述光学物理特征之间相互独立。携带OAM的光束被称为涡旋光束,轨道角动量键控（Orbital Angular Momentum Shift Keying,OAM-SK）是利用涡旋光束在自由空间中实现信息传输的一种光通信方式。但是,涡旋光束的强度分布受到外界环境影响较大,如何精准检测不同涡旋光束的强度分布图是研究的难点。考虑到卷积神经网络（Convolutional Neural Network,CNN）对于光学图像检测与分类有速度快、准确率高、抗干扰能力强等优点,本文将OAM-SK与CNN结合,既提升了通信系统的解调速度,又提高了其抗干扰能力。本文的主要工作内容为:首先,本文回顾了OAM-SK中涡旋光束的基本理论。通过对比不同涡旋光束的特性和涡旋光束的产生方式,选择拉盖尔-高斯光束,采用在空间光调制器上设置全息图来产生涡旋光束,同时介绍了涡旋光束的检测方法与涡旋光束在自由空间的传输理论。然后,提出一种非相干叠加的OAM-SK通信系统,降低混合OAM幅移键控（Mixed OAM Amplitude Shift Keying,OAM-ASK）编码中所需OAM模式值的数量。通过空间光调制器生成基于OAM-ASK编码方式下的涡旋光束,利用卷积神经网络对其强度信息进行图像识别处理,解调出对应N路涡旋光束上的数字信息,并对数字信息进行整合归类,恢复所传输的图像。仿真结果表明,所提系统在弱到中等湍流和长波长下表现出良好的性能,且在传输4比特信息时,将OAM-ASK编码中所需OAM模式值的数量降低了4倍,同时也降低对空间光调制器刷新速率的要求。最后,提出另一种结合高斯光束的OAM-SK通信系统,有效解决了非相干叠加OAM-ASK方案中实现难度大、系统成本高的问题。将高斯光束引入OAM-ASK编码技术中,利用涡旋光束和高斯光束混合的方式进行非相干叠加,叠加后的复合光束通过卷积神经网络处理,最终将传输的数字信息恢复。仿真结果表明,该系统在低湍流和长波长下具有良好的性能,并且在传输相同比特信息时,相比于非相干叠加的OAM-SK通信系统仅需要一半数量的空间光调制器,大大降低了系统的成本,简化了系统的结构。