随着科学技术的进步与发展,基于对空间技术的开发和利用,人们从空间获取的数据信息量呈几何倍增长,这对数据在传输过程中的传输速率与带宽提出了更高的要求。光无线通信作为一种新型的通信技术应运而生,可以轻松实现远距离、高速率的通信,适用于星间、星-地、水-空、空-地等不同场景之间的通信,应用前景十分广阔。然而光信号会受到随机介质的影响,湍流效应会使作为载波的激光束在传输信道中产生波前畸变,引起光束扩展和漂移、横向弥散、相位和强度起伏等现象,严重降低光无线通信系统的链路性能。本论文从数值仿真和实验研究两个不同的角度切入,研究了激光束在随机介质中的传输特性,并分析了光无线通信系统的链路性能。首先利用波动光学仿真,在大气信道中根据扩展Rytov理论建立了闪烁指数模型,研究了光传输链路的闪烁特性,比较了接收孔径、风速和传输距离等环境参数对光无线传输的影响。在水下信道中,采用海洋折射率起伏的功率谱和均匀分布模型研究了光传输链路的闪烁特性,分析了接收孔径、水流速度和传输距离等环境参量对光无线传输的影响。基于大气和水下信道的链路特征,建立了水-空垂直链路模型,比较了接收孔径和传输距离对光无线传输的影响,针对上行链路和下行链路,采用高斯光束和环形光束进行研究,研究表明环形光束能更好地抵抗湍流引起的强度起伏,其链路性能明显优于高斯光束。另外,分析了上行链路和下行链路性能差异的原因。其次,实验研究了湍流影响下光在大气信道中的传输特性和通信性能。搭建无波前传感自适应光学系统的实验平台。针对不同的湍流,设计了实验方案。对于相位屏模拟的弱湍流,采用随机并行梯度下降算法进行波前畸变的校正,分析了算法的校正效果和收敛速度。对于于由大气湍流发生器产生的复杂湍流,采用Gerchberg-Saxton（GS）算法来进行校正,并对算法加以改进,比较了原始GS算法和改进GS算法的校正效果和收敛速度,利用给定的系统参数和测量结果计算了系统的平均信噪比和误码率,分析了湍流对光无线传输系统性能的影响。最后,实验研究了水表面波扰动影响下光在水下信道中的传输特性和通信性能。通过水表面波的扰动模拟海面有风浪时的场景,在水下信道中搭建了水下光无线传输系统,研究了激光在有水表面波扰动时的传输特性。研究表明,激光的散射与水表面波扰动范围和扰动深度有关,并且光斑在接收端的分布具有一定的统计规律。在此基础上,采用非归零开关键控调制,研究速率为500 Mbps的信号在10 m水信道传输的通信性能。研究表明,水下光无线传输系统的通信质量与输入光强、水表面波扰动范围和扰动深度密切相关。本文工作的创新点可归纳为:针对光传输链路中大气随机介质扰动,提出并实现了一种新颖的传输光场畸变波前矫正技术方案,该方案根据光强传输方程原理,设计了一种强度-相位反演装置,利用该装置,可快速获得由湍流大气引起的传输光场畸变波前信息,结合随机并行梯度下降算法,实现了对波前畸变的实时矫正与补偿,增强了消除湍流引起的信号闪烁的实时性与可靠性,为无波前传感自适应光学技术应用于光无线通信提供了一种实用可靠的技术方案。在对水表面波光传输特性研究中,研究并获得了水介质表面气流扰动的统计学特性,针对水下传输链路光信号的物理特征与通信性能给出了水表面波特性的有效表征,这一相关原创性研究结果是对现有湍流光通信理论的补充,为光无线系统在随机介质中的有效传输与通信,提高传输链路的抗干扰性能提供了有价值的参考。