自由空间光通信具有频带宽、成本低、部署快速、无需频谱许可等优点，应用潜力巨大，近年来许多国家投入巨资进行研究开发。但由于光束在大气中传输时，易受到大气湍流的影响，导致传输光束的波前随机起伏，造成光斑漂移、光强起伏(闪烁)等，使传输的光束质量严重下降，造成自由空间光通信系统误码率增加、信道容量减小、甚至通信中断，严重影响通信链路的稳定性和可靠性。本文针对上述问题着重研究了大气湍流对自由空间光通信系统的影响，分析了大气湍流信道下自由空间光通信系统的性能，采用新颖的自适应光学技术减小大气湍流效应对自由空间光通信的影响，主要研究工作如下：首先，研究了大气衰减效应和大气湍流效应对光束传输的影响，着重研究了大气湍流的机理及大气折射率起伏模型，依据高斯光束在大气湍流中传播的基本理论，基于修正的Rytov方法，给出了内尺度和外尺度效应时的闪烁指数，并给出了光强起伏概率分布模型。其次，为了分析大气湍流对自由空间光通信系统性能的影响，提出了一种Meijer G函数表示的新颖闭合表达式。首先假设自由空间光通信系统采用开关键控(OOK)强度调制直接检测（IM/DD），大气湍流信道为gamma-gamma分布的，是具有加性高斯白噪声（AWGN）的、独立同分布的、无记忆平稳遍历的，且信道状态信息在发射端和接收端都可以利用的前提下，推导得出了大气湍流信道下自由空间光通信系统用Meijer G函数表示的误码率、中断概率、平均容量（遍历容量）的闭合表达式。建立了大气湍流下空间光到单模光纤耦合效率表达式。仿真分析了湍流效应对自由空间光通信系统性能的影响。为了减小大气湍流效应的影响，采用自适应光学技术对自由空间光通信系统进行补偿。根据自适应光学原理及大气湍流理论，得出了基于自适应光学补偿的自由空间光通信系统的误码率和耦合效率表达式，同时还得出了耦合效率与斯特列尔比的关系，通过仿真分析了自适应光学对自由空间光通信系统的补偿效果。常规自适应光学技术对自由空间光通信具有较好的补偿效果，但有一定的局限性：一是补偿所需的相位调制量不能够直接测量，需波前传感器检测畸变信息再进行波前重构，计算量大，严重影响了相位补偿的实时性。二是在强湍流条件下，相位畸变引起光强起伏，致使难以测量重构畸变波前。三是波前传感器一般体积庞大，价格昂贵，系统复杂。为此，提出了一种采用盲优化自适应光学来补偿自由空间光通信系统。盲优化自适应光学技术无需波前传感器检测波前畸变信息重构波前相位，而根据光电探测器信号，利用优化控制算法，对系统所要控制的性能指标直接优化，达到减小湍流效应的目的。根据构建的基于盲优化自适应光学补偿的自由空间光通信系统模型，进行了盲优化补偿数值模拟实验，结果表明盲优化自适应光学补偿技术不仅能够校正畸变相位还能校正闪烁所造成的影响，提高了系统的性能。但优化过程中如果增益系数取值太大，则系统收敛速度较快，但收敛精度较低；如果取值太小，则系统收敛精度较高，但收敛速度较慢。为此提出了一种自适应增益的随机并行梯度下降优化算法，提高了系统收敛速度和精度。