大气光通信系统是近几年通信领域研究的热门话题。大气湍流导致光束的振幅和相位随机起伏，致使接收面出现光强闪烁、波面畸变等现象，严重制约了大气光通信系统的性能。自适应光学技术（AO）是缓解湍流影响，改善光束传输质量的主要手段。本论文针对开关键控（OOK）、光强调制/直接解调（IM/DD）非相干光通信和零差二进制相移键控（BPSK）相干光通信两种系统，研究大气湍流对光通信系统的影响机制以及AO在其中的作用。主要的研究工作概括如下：利用数值仿真的方法建立了OOK、IM/DD的非相干光通信系统模型，分析了AO校正对于提高非相干光通信系统性能的作用。结果显示发射端和接收端AO校正都有利于提高光通信系统性能，但校正结果的优劣与收发口径有关：在大口径下接收端校正要优于发射端校正；在小口径下接收端校正的作用不大，但是发射端校正仍能取得不错效果。本文开展了2.5Gbps高码率的大气光通信AO校正模拟实验。用多模光纤做接收时，AO闭环后误码率最大的改善多于4个数量级。用单模光纤作为接收时，AO能有效地抑制接收信号的深度衰落。并且AO仅校正倾斜时，误码率改善了一个数量级；AO全闭环后，120s内无误码出现。设置实验对比了接收端和发射端AO校正的差异：接收端校正后和发射端校正后，平均误码率分别改善了2～3个数量级和近7个数量级。本文建立了空间零差BPSK相干光通信数学仿真模型。结果显示湍流引起的整体平移（piston）像差会导致系统出现严重误码。不考虑piston影响时，使用波面RMS和PV的概率密度分布的统计方法来研究波面畸变程度和出现误码的关系。当信噪比趋于无穷大时，波面RMS≥0.28λ，PV≥1.02λ时会出现误判现象；当SNR=8时，RMS≥0.16λ，PV≥0.71λ即会出现误码；并且随着SNR的降低，对波面RMS和PV值要求更加严格。本文采用变形镜拟合校正和Zernike模式法校正两种方法来分析和讨论AO在相干光通信系统中的作用。结果显示：在弱湍流条件下，仅校正倾斜像差就能有效的提高混频效率。当湍流较强时，需要更多的高阶校正才能有效提高混频效率。在AO系统校正阶数和大气相干长度r0一定的情况下，存在一个理论最优的口径，使得信噪比增益最大化。在实验室搭建了180度光混频器和零差BPSK相干光通信测试系统，通过发射和接收随机二进制码来分析大气湍流像差对相干光通信误码率的影响机制。piston的影响主要表现在接收到的信号幅值忽大忽小，导致接收信号反向180度。模拟强湍流时会导致接收信号起伏和整体偏移。全文通过理论、仿真和实验等方面证实：在非相干光通信系统中，AO技术有利于提高系统信噪比、减少衰落的强度和频率从而降低系统误码率。在BPSK相干光通信系统中，AO技术能够有效的校正波面畸变，提高本振光和信号光的相位匹配程度，从而降低系统误码率。