近年来,无线光通信(Optical Wireless Communication,OWC)因其超宽频谱、保密性好等特点受到学术界和产业界的广泛关注。无线光通信的室外应用场景主要指自由空间光通信(Free Space Optical Communication,FSO)。FSO通信可广泛应用于室外多种场景,包括作为“最后一公里”问题的有效解决方案、应急通信方案、基站信息回传和卫星通信等。但在实际应用中,大气湍流将导致传输光束波前发生畸变,从而严重影响了 FSO通信系统的性能。自适应光学(Adaptive Optics,AO)技术是补偿波前畸变最常用的方法,但AO技术还存在很多亟需解决的问题,比如波前传感器(Wavefront Sensor,WFS)不能在强湍流下工作,适用范围小;基于盲优化算法的WFS-less AO系统需要迭代次数多,这将严重影响FSO通信系统的时效性。针对上述问题,本文结合卷积神经网络(Convolution Neural Network,CNN)方法,设计了基于CNN的波前畸变校正系统,可实现FSO通信系统中波前畸变的快速校正。对所研究的CNN波前校正方案进行系统建模,仿真分析了基于CNN的波前校正系统性能,并通过强湍流下的校正结果验证了 CNN波前校正方案的可行性。为了进一步平衡CNN波前校正性能和系统复杂度,本文基于理论和仿真性能分析了基于CNN的波前校正方法中的关键因素及最佳参数选取,包括Zernike项数、量化位数及不同CNN网络结构等。接着从校正性能和时间复杂度两方面分析比较了 CNN方案和随机并行梯度下降算法(Stochastic Parallel Gradient Descent,SPGD)、模拟退火算法(Simulated Annealing,SA)三种不同算法的性能。仿真结果表明随着湍流强度的增大,SPGD和SA算法性能迅速下降,而CNN方法的性能较为稳定且功率损失小于SPGD和SA算法,尤其在较强湍流下,CNN性能相比其他算法更佳。另外,通过分析不同校正方法完成畸变校正所需的时间,发现CNN方法所需时间远小于SPGD和SA算法。因此,基于CNN的波前校正方法可在提升畸变校正性能的同时大幅减小校正所需时间,满足信道快速变化的需求。在室内搭建了基于CNN的FSO波前校正系统实验平台,研究了基于CNN的波前校正方法的波前畸变校正性能。实验结果表明,在弱湍流和强湍流下,经过CNN方法校正后,耦合功率损失都能降到很小。在弱湍流下的平均功率损失由校正前的1.8 dB降至0.8 dB,在强湍流下由校正前的12.4 dB降至4.4 dB。从而实验验证了基于CNN的波前校正方法的可行性以及可适用于不同的湍流情况。为了进一步分析CNN波前校正性能,理论分析了基于CNN方法的校正系统在湍流校正前和校正后的耦合效率分布,研究结果表明CNN校正前后的耦合效率均服从莱斯分布,并结合实验数据进行了验证。