自由空间光通信（Free Space Optics Communication,FSOC）技术是以激光为信息载体、以大气为传输信道的无线通信方式,具有数据容量大、通信速率高、保密性好、网络架设灵活且无需频带许可等优点。传统FSOC多采用强度调制/直接探测（IM/DD）方式,目前光通信领域的发展方向则是探测灵敏度更高、调制方式灵活、信道选择性好的相干FSOC（Coherent Free Space Optics Communication,CFSOC）。但CFSOC系统受通信链路中大气湍流效应的影响严重,湍流引起的光强闪烁、光束漂移、到达角起伏等会导致相位畸变、光束质量下降、相干接收波前相位失配等,降低通信质量和通信稳定性。自适应光学（Adaptive Optics,AO）技术是CFSOC系统信道补偿的有效手段,但在传统AO中广泛采用的夏克-哈特曼波前传感器（Shack-Hartmann Wavefront Sensor,SH-WFS）对激光闪烁效应较为敏感,且子孔径分光严重。为此,应用灵活且成本较低的无波前传感自适应光学（Sensor-Less Adaptive Optics,SLAO）技术成为了近年来的研究热点,其有两个显著的技术特点:一是采用高速相机替代SH-WFS;二是无需波前测量和重构,根据高速相机采集的光斑图像即可由优化算法计算性能指标、控制校正器。因此,本文主要聚焦于CFSOC系统中SLAO高速高可靠成像系统和波前畸变优化算法这两项关键技术,具体研究工作如下:1、阐述了CFSOC系统及SLAO技术的研究背景、意义及国内外研究现状,分析了CFSOC系统中SLAO的技术框架、发展趋势、现存问题及解决方案。2、研究了相干光通信理论及Kolmogorov湍流模型,分析了大气湍流效应对CFSOC系统混频效率（Mixing Efficiency,ME）和误码率（Bit Error Rate,BER）造成负面影响的数学过程。分析了CFSOC系统中SLAO相比于传统AO的技术优势,从原理上提炼了SLAO系统中的两项关键技术作为本文的研究重点:高速高可靠成像系统及多维大规模优化算法。3、研究了SLAO关键技术之一的高速高可靠成像系统,完成了成像需求分析、核心器件选型和低噪声电子学软硬件系统设计;针对高速图像数据传输时由于通道匹配差异、传输路径不一致等原因导致的接收相位失配,提出了源同步高速数据接收算法,保证了SLAO高速图像的正确接收;针对SLAO在复杂环境连续工作时由于温度变化、电压漂移等外部原因引发的图像数据传输中采集错误的问题,提出了实时窗口监视算法,保证了SLAO高速成像系统长时间工作的高可靠性。4、研究了SLAO系统关键技术之一波前畸变校正算法,基于Zernike多项式建立了CFSOC系统性能指标与优化算法适应度的关系映射,引入经典优化算法SPGD,并从原理上分析了其收敛速度慢且易陷入局部极值的固有缺陷。为此,提出了Adam SPGD算法以更有效地补偿CFSOC中的波前像差。理论分析、数值模拟和实验结果表明,Adam SPGD算法可将收敛速度提高约50%,并显著提高参数鲁棒性和SLAO系统动态性能,有效抑制不同强度的大气湍流对ME和BER的负面影响,提高通信质量。本章还提出了Nadam SPGD算法,性能同样明显优于传统SPGD算法。5、研究了无需计算梯度信息的群智能（Swarm Intelligence,SI）算法,为解决SLAO大气湍流畸变校正问题提供了新思路。分析了PSO、AFS和CS三种SI算法的技术特征及其用于SLAO系统的优缺点,进而取长补短提出了基于Lévy飞行的混合群智能算法HSIL。通过理论分析和数值仿真分析了各参数对HSIL算法波前畸变校正效果的影响,验证了HSIL算法在收敛速度、校正精度、性能稳定性、参数鲁棒性、全局优化能力和不同湍流强度下的校正能力等方面相较于传统SI算法的性能提升。本论文在CFSOC理论、SLAO建模、高速高可靠成像系统、波前畸变优化优化算法等方面开展了关键技术研究和相关设计工作,对后续CFSOC系统中SLAO的设计具有一定的指导意义和参考价值。