自由空间光通信(Free Space Optical Communication,FSO)是一种很有前景的通信方式,可以满足现代信息技术智能化、数字化的需求。相比于光纤通信,FSO通信可以在恶劣环境下快速地构建通信链路;与射频无线通信方式相比,FSO通信系统容量更大,灵活度更高。近些年,轨道角动量态(Orbital Angular Momentum,OAM)作为光束的基本特性,为自由空间光通信系统的研究提供一种新的维度,成为研究的热点。理论上OAM光束可以拥有无穷个互相正交的本征态,故将信息调制到OAM光束上能极大地提升系统的传输容量。但是,由于自由空间光通信系统大气信道中湍流效应的存在,会显著地干扰OAM光束在信道中的传播。在OAM-FSO通信系统中,可以使用深度学习(Deep Learning,DL)技术对系统的相关模块进行优化,从而提高系统的可靠性和灵活性。本文针对结合深度学习的OAM-FSO传输系统和其相关技术展开研究,调研了 OAM-FSO传输系统的基本理论和信道建模方法。为提高系统的传输性能,对自适应OAM解调技术和湍流强度检测技术进行深入研究并提出改进方案,通过数值仿真验证了所提出方案带来的性能提升。本论文主要工作如下:(1)为对抗湍流效应的影响,提出了结合信道编码的自适应OAM解调技术方案,指定了编码码字和OAM模式之间特定的映射关系,同时分别研究了码字和OAM模式的映射关系、大气信道的湍流强度和所用信道编码的编码结构对FSO传输系统性能的影响。仿真结果说明,结合信道编码的自适应OAM解调技术可增强FSO系统通信的可靠性。(2)针对基于卷积神经网络(Convolutional Neural Networks,CNN)的自适应OAM解调技术,为缓解训练卷积神经网络过程中遇标注样本不足问题,提出了基于条件生成对抗网络(Conditional Generative Adversarial Networks,CGAN)的自适应 OAM 解调技术方案。通过设计数据仿真,对比分析了OAM解调方案改进前后的解调性能,验证了所提出的方案能提高OAM的解调准确率,进而提高OAM-FSO通信系统传输性能。(3)提出了基于半监督生成对抗网络(Semi-Supervised Generative Adversarial Networks,SSGAN)的湍流强度检测技术方案,实现了无标签数据的进一步利用,同时通过数值仿真和基于监督学习的自适应湍流强度检测技术方案进行了对比,并探究了监督样本数量对两种湍流强度检测技术的影响。研究结果表明所提出的技术方案可在缺少监督样本的情况下,进一步地提高湍流强度检测的准确率。