近年来,随着云计算、物联网等技术的发展,人们对通信带宽和数据速率的要求不断提升。与传统无线电通信、光纤通信不同的是,自由空间光（Free Space Optics,FSO）通信有高带宽、易于部署、低功耗、低质量以及高安全性等特点,能够有效填补前两者的不足,在面向长距离、高速和大容量的通信方面具备巨大潜力。面向高速、大容量的全球通信发展趋势,涡旋光束（Optical Vortex,OV）在FSO通信链路中的应用受到了研究者们的广泛关注。采用轨道角动量（Orbital Angular Momentum,OAM）作为一种新的自由度来承载信息,和传统的强度、相位等调制方法类似,也可用承载二进制信息比特,具备大容量特性。因此,基于OAM的FSO（OAM-FSO）通信系统满足了现代通信系中大容量高速率的需求。然而,FSO通信系统存在一些需要解决的根本问题,主要是大气信道对OAM光信号产生的负面影响,进而降低FSO通信系统的性能。由于大气信道严重的衰减特性,亟需探索能量利用率更高、更加适用于OAM-FSO通信链路的调制复用方案。本文开展了基于湍流信道的空间光通信系统性能研究。重点研究了适用于湍流信道的幅度-脉冲联合调制（Amplitude and Pulse Position Modulation,APPM）和交叠幅度-脉冲联合调制（Overlapping Amplitude and Pulse Position Modulation,AOPPM）方法、多阶梯螺旋相位板（Multi-step Spiral Phase Plate,MSSPP）的涡旋光生成方法和对应的复用方法,实现在低误码率的条件下的高带宽通信,进而有效支持更大容量的实时、多媒体、高清通信业务的宽带通信需求。论文的主要研究工作和创新点如下:1、提出了一种修正的非Kolmogorov双伽马湍流信道模型,并提出了 FSO系统基于非Kolmogorov双伽马湍流信道的高阶脉冲类调制方案,具体包括非KolmogorovGG信道下的高阶4×32APPM、4×64APPM和4×32AOPPM、4×64AOPPM方案,通过蒙特卡洛仿真,分析此系统的误比特率性能,并对其进行优化,实现权衡兼顾能量利用率和频带利用率的目标。仿真结果表明,相对于高阶APPM-FSO,AOPPM-FSO在不同调制阶数下的误码性能整体更好。可推断AOPPM符号中较长的（重叠的）时隙对非KolmogorovGG信道噪声的幅度波动产生了平均效应,有助于码元对抗大气湍流造成的光强起伏。2、提出了基于多阶梯螺旋相位板的涡旋光生成方法和对应的复用方法。具体提出了基于MSSPP生成的涡旋光束拓扑荷数成分分析方法,理论推导得到拓扑荷数的各个成分分量为傅里叶形式的无穷级数之和,并定量得出近似保全有用信号能量下多阶梯螺旋相位板的阶梯数量M和所需生成拓扑荷数l的涡旋光能量占比理论关系,具体分析了不同的MSSPPs参数（阶梯数量M和所生成有效拓扑荷l）对复用FSO通信方案的影响,得出了可以合理调整参数,来最大限度兼顾误码性能和制备成本的结论。3、提出并搭建了基于MSSPP生成涡旋光的OAM复用光通信系统,具体包括OAM复用-16QAM调制通信系统、OAM复用-32QAM调制通信系统、OAM复用-64QAM调制通信系统和OAM复用-256QAM调制通信系统。研究结果表明,涡旋光束相对理想情形纯度下降情况下含有“杂质”拓扑荷,这将导致OAM复用光通信系统误码性能恶化。合理调整多阶梯螺旋相位板的阶梯个数M和多路复用信道所需拓扑荷数l可有效降低有用信号衰减、信道间串扰。