自由空间光通信技术兼具无线通信和光纤通信的优点,能够灵活的提供无线接入和大容量的数据传输。在空间光通信中,利用轨道角动量光束传输,具有高容量和保密性等优势。但受到大气湍流因素影响,光信号容易发生强度的衰减和相位的扰动,极大降低了空间光链路传输可靠性。对于空间中湍流带来的影响,一方面可以引入纠错编码来抑制对信道的干扰,极化码作为信道容量可达的编码技术,能够应用于空间光通信中提供高可靠性的传输。另一方面,还可以提高对畸变的光信号检测,增强对光信息的接收解调能力。与此同时,深度学习技术在图像分析和音频处理等领域掀起了巨大变革,并不断与其他学科融合产生新的方法和思路,将深度学习技术应用于空间光通信中编码和解调具有理论意义和应用前景。本论文对极化码与OAM结合的光通信方案展开研究,构建完整通信系统模型,通过建立相位屏传输仿真模型,分析极化码对OAM通信系统性能的影响。在此基础上对整个通信方案进行优化,提出一种基于深度学习OAM解调方法,降低OAM解调检测的复杂度,对极化码结合深度学习解调OAM的系统性能展开分析。最后对极化码编译码展开研究,提出基于深度学习的极化码编译码方案,能够实现整个通信方案的低复杂度和高可靠性。主要成果如下:(1)研究了极化码和OAM调制结合通信方案,对其系统组成进行了分析,研究了 OAM光束的传输仿真模型,对极化码在OAM光束传输系统中的性能表现进行了分析。(2)研究了基于深度学习的OAM解调检测方法,构建OAM强度图像数据集,分析不同模式组合、图像尺寸大小、网络结构等对解调性能的影响,提出一种能获取大气信道状态的高效OAM解调检测模型,最后仿真分析了极化码结合深度学习解调OAM传输系统的性能,并传输数字图像验证了系统的可行性。(3)研究了基于深度学习的极化码编译码算法,基于对大气信道的湍流强度的判断,提出结合信道估计的自适应编码算法,用于调整编码长度适应不同的湍流状态,提升了系统传输性能。研究了 DNN模型和RNN模型对极化码译码的方案,比较了不同网络结构对译码的性能影响,发现RNN模型能够接近SC译码方法的性能,同时降低译码的复杂度。研究了端到端的编译码形式,以编码通过信道后的最大互信息量为目标训练网络,优化了极化码在低信噪比下的性能。