自由空间光通信作为一种以激光为载波的新兴通信技术,可以在空间中传递文字、音频、图片、视频等格式的信息,拥有频谱资源丰富、传输距离长、传输速率快、保密性好等优点,被充分运用于军事和民用领域,尤其在无人机领域拥有很大的应用潜力。对无人机自由空间光通信而言,高动态的特点对通信质量和编队性能的影响是研究的重点。本论文建立了飞行状态下的无人机光通信信道模型,结合实测的无人机姿态变化,分析了在不同飞行状态下的通信性能,并探索了信道模型在无人机编队算法中的应用。首先,从自由空间光通信系统的结构组成和理论模型出发,介绍了系统中收发端的结构与信号处理技术,并讨论了大气信道中的衰减效应和湍流效应,给出了相应的数学模型,并阐述了相位屏方法的原理,可以准确模拟大气的湍流效应。其次,建立了基于飞行状态下的无人机自由空间光通信的信道模型。首先对大气信道模型做了相应的数值模拟工作来验证理论的正确性。基于相位屏生成理论,仿真模拟了高斯光束在大气信道中的传输过程,指出大气会对信号造成诸如光强衰减、波前畸变、光强闪烁等影响。随后考虑了因电机振动、转子高速转动造成的无人机机身的抖动,以及无人机飞行时的倾斜角、随机风阻等多种对光通信质量产生影响的因素,并进行了相应的仿真分析,详细阐述了当无人机存在以上影响因素时,不同飞行状态下的通信过程,对悬停无人机、直线飞行无人机、偏航飞行无人机之间的光通信以及静态收发端通信的结果进行了比较,并验证了运用空间分集接收技术可以有效提高无人机之间的通信质量。再次,基于实测的无人机运动状态数据,通过将记录下来的无人机姿态角的变化情况与本文建立的无人机的信道模型相结合,详细阐述了通信距离、飞行速度以及偏航角对通信质量的影响。分析得出在中断概率要求为10-2以及误码率为10-4的条件下,通信距离增加1000 m,相应的信噪比需要增加4 d B;在中断概率要求为10-2的条件下,飞行速度从5 m/s增加到15 m/s,相应的信噪比需要增加2.5 d B左右;在中断概率要求为10-2以及误码率为10-3的条件下,偏航角增大50 mrad,则信噪比需要提升2 d B左右。最后,提出了基于最优控制的新型无人机编队混合优化算法,建立了无人机编队的控制数学模型,通过混合使用粒子群算法（Partical Swarm Optimization,PSO）和遗传算法（Genetic Algorithm,GA）,将编队重组的时间作为优化的参数,验证了混合算法可以快速有效的完成无人机编队的重组。随后详细阐述了无人机光通信的质量对编队重组时间以及效果的影响,比较了在不同编队环境中,无人机编队性能的表现,并给出了编队算法的适用条件,分析得出无人机间最大的允许距离为2000 m,无人机最大的允许飞行速度为12 m/s。