自由空间激光通信系统以其传输速率高、保密性强、方向性强等许多明显优于射频无线通信系统的特点而得到广泛研究。对于星地激光通信和水平激光通信,在传输过程中激光信号会受到大气影响而产生能量衰减,同时发生波前畸变,降低激光通信性能。自适应光学技术可以实时补偿由大气湍流引起的光学波前畸变,进行高精度校正,从而恢复空间光通信系统的通信能力。目前激光通信自适应系统的设计依然是基于大口径望远镜成像光学的设计方法,以斯特列尔比来评价激光通信系统的接收能量和误码率,其仅考虑峰值能量。但是激光通信是通过计算整个靶面的能量积分来计算通信误码率,因此利用斯特列尔比法无法准确计算接收靶面的能量值,因而也无法准确预计通信误码率。因此,需要采用精确能量计算方法,来分析自适应校正对激光通信的影响,为激光通信自适应系统的设计提供理论依据。此外,由于大气湍流实时随机变化,尤其是水平通信链路,其湍流变化更加剧烈。这样会在通信过程中出现强湍流,导致哈特曼探测器无法探测波前像差,从而出现校正精度急剧下降,通信失败。为此,本论文主要针对目前自适应系统在激光通信中应用时存在的缺乏校正效果和通信性能之间的评价标准,以及强湍流波前无法探测的问题进行研究。针对强湍流下自适应系统无法探测波前的问题,本文提出无波前探测和哈特曼探测器相结合的混合探测方法,初始先利用无波前探测方法进行波前探测和校正,当像差进入哈特曼的探测范围时,切换到哈特曼探测器进行波前的高速和高精度探测,从而获得高精度波前校正,降低通信误码率。这样,既增大系统探测范围又不降低系统带宽。采用SPGD算法进行无波前探测的位相恢复,针对SPGD无波前恢复算法迭代次数多的问题,提出将Zernike像差替换变形镜电压作为扰动对象的优化算法,令算法迭代次数减少两个数量级。同时提出利用环形光强代替中心光强作为性能指标的方法,扩大了像差恢复范围,使得恢复范围增加31%。此外,提出利用哈特曼的标准光斑阵列和强湍流时的光斑阵列的相关度作为无波前探测和哈特曼探测之间的切换依据,模拟和实验结果显示,当相关度为0.81时,可以进行探测方式的切换。最后,在模拟分析的基础上,进行了实验室强湍流探测验证实验,结果表明:无波前恢复算法能够将耦合效率由0.012提高到0.35,误码率由10^-1降低到10^-4;进入哈特曼探测后,耦合效率提升到0.55,误码率下降到10^-6。该结果证明混合波前探测方法能够有效解决强湍流下系统探测能力不足的问题,为强湍流激光通信自适应系统探测提供了一条技术途径。针对空间激光通信中缺乏自适应校正对通信性能影响的评价标准问题,本文根据桶中功率模型,推导了系统校正残差与耦合效率和通信误码率的定量关系表达式,并进行了模拟分析:对于10^-9的理想通信误码率,对于误码率小于10^-6的应用需求,要求校正残差的RMS值小于0.67弧度、系统3dB带宽应为格林伍德频率的1.6倍。同时进行了9公里水平湍流的自适应校正验证实验,实验结果与本论文推导的理论曲线几乎完全重合,耦合效率的平均偏差小于0.02,误码率的平均偏差小于0.1个数量级,证实了理论分析的有效性,为空间激光通信自适应系统的理论设计提供理论支撑。针对9公里水平跨海链路的激光通信自适应校正需求,完成空间激光通信自适应系统的设计和装调,提出基于光纤光源的望远镜光瞳成像方法,实现了望远镜出瞳位置和后截距的精确测量。针对探测支路的光轴无法确定问题,采用测微准直望远镜反向入射的方法。实现了光轴了精确标定。最后,开展了实验室和外场验证实验,结果表明:对于室内实验的静态像差,校正后波前RMS值2.01rad从减小到0.29rad,误码率从10^-5降低到10^-7,减小了2个数量级;同时实现了格林伍德频率40Hz的大气湍流的实时校正,校正后,平均误码率从2×10^-2降低到3.7×10^-7,减小了五个数量级;对于9公里跨海激光通信自适应校正实验,校正后波前残差RMS由4.68rad减小到0.71rad,耦合效率提高30%,误码率由6.7×10^-3减小到2.84×10^-6,降低了三个数量级。本文针对空间激光通信中存在强湍流波前探测问题和自适应校正系统设计中存在的评价标准问题,开展了一系列研究工作,有效解决了上述问题。本论文的研究成果为空间激光通信自适应系统的设计提供理论依据和技术支撑,其将大力推动自适应光学技术在空间激光通信中的应用,从而推进空间激光通信在军民领域的广泛应用。