随着物联网、人工智能和第五代移动通信技术等新兴技术的发展,人们对高速大容量通信系统的需求呈爆炸式增长。尽管通过波分复用和偏分复用技术以及多种调制方式的应用,在容量方面有了显著的改进,但指数级增长的数据需求仍缺乏足够的带宽。涡旋光束的不同轨道角动量（Orbital Angular Momentum,OAM）模式间相互正交,可以看作一个新的自由度,通过将不同模式的轨道角动量作为表示多进制的数据符号或多路复用的独立信息载体来克服带宽紧缺的限制。但是涡旋光束在传输过程中容易受湍流影响,造成模间串扰和光斑畸变。具有特定轨道角动量模式的涡旋光束激发了以精确检测技术为基础的各种经典和量子研究。将深度学习技术应用于湍流介质中传输的涡旋光束模式检测,能够提高涡旋光束在湍流介质中通信的可靠性。本论文主要研究工作和成果如下:1.设计并验证了大气湍流中复合涡旋光束通信系统。基于两束拉盖尔高斯（Laguerre Gaussian,LG）光束的相干叠加构造的复合涡旋光束,通过调节光束之间的相位差实现相位调制,使用多相位屏法实现复合涡旋光束在大气湍流中传输。将生成的光强图像构造数据集用于深度学习,深度学习技术能够以超过99%的准确率从光强图像中识别出相应的信息进行解调。同时,相位调制可以与轨道角动量键控（Orbital Angular Momentum Shift Key,OAM-SK）结合从而进一步增大通信系统的通信容量。实验验证了相位调制的可行性,在实验室构造了复合涡旋光束的收发系统,并使用热板加热模拟大气湍流对光束造成的影响。对电荷耦合单元（Charge-coupled Device,CCD）采集到的图像构造实验数据集,使用多种深度学习方法进行训练,训练后的模型能够以100%的准确率从图像中识别出信息。2.推导了隆美尔高斯（Lommel Gaussian,LMG）光束在Yi谱海洋湍流中的OAM模式探测概率,设计并验证了海洋湍流中LMG光束通信系统。研究表明,在均方温度耗散率较小和湍流动能耗散率较大的海洋湍流中,LMG光束的效果更好,同时在光谱蓝绿光区域中波长较大的低阶LMG光束更能降低海洋湍流对光束的影响。使用CNN对LMG光束在海洋湍流中传输进行解调,考虑了不对称因子和横向波数的调制,LMG光束在海洋湍流中对信息解调的准确率能够达到100%。