近年来随着信息网络技术的飞速发展,信息流量需求飞速增长,需要建立高速率、大容量、广覆盖的空天地一体化通信网络系统。而目前卫星之间、星地之间的数据传输主要是微波为载体的通信。由于微波频率资源和技术限制,以微波为载体的卫星通信速率很难有很大提升。而卫星激光通信技术由于设备体积小、抗干扰能力强、保密性强、通信速率提升空间大等优点,为实现星间、星地高速率数据传输提供了新的解决方案。因此,卫星激光通信成为卫星通信领域的研究热点。其中星地间的激光通信技术研究,是解决星上和地面高速数据交换的关键,由于星地间的激光通信需要经过大气信道,激光信号在传输中不可避免地受到大气湍流、大气散射等的影响,影响通信可靠性。因此,针对大气信道的传输特性,研究星地间激光通信的传输性能优化方案,是实现稳定可靠高速星地激光通信的研究重点。而自适应编码调制技术可以根据无线信道状态的变化,动态调整信号的编码调制方式,在通信可靠性和高效性之间寻求平衡,可以优化星地激光通信的传输性能,成为了国内外研究热点。本论文在研究星地激光通信传输机理的基础上,为解决星地激光通信传输优化问题,重点研究了星地激光通信系统中的基于循环神经网络的信道估计算法、接收端信号调制格式识别方法和联合多孔径接收的自适编码调制（Adaptive Modulation and Coding,AMC）方案。论文的主要研究工作和创新点如下:1.提出了一种基于长短期记忆（Long Short-Term Memory,LSTM）循环神经网络的星地激光通信信道估计方法。在该方法中,利用LSTM网络对时间序列“强记忆”特点,在弱湍流、中等湍流、强湍流等不同强度的大气湍流信道条件下,通过仿真获取大量星地激光通信系统的训练数据集,训练数据集是由大量已知光信噪比的接收端信号序列构成,将信号的序列值和对应平均光信噪比作为LSTM模型训练的输入层。经过训练拟合后的模型,可以通过输入接收信号对信道的光信噪比进行估计。与传统的信道估计方法最小二乘估计（Least square estimation,LS）相比,基于LSTM网络的信道估计方法具有更高的估计精确度,平均均方误差（mean-square error,MSE）为0.01左右,高信噪比的情况下MSE可降低到10-3以下。该信道估计方法实现了准确估计星地激光通信信道的光信噪比,为AMC方案中信道估计问题提供了解决办法。2.提出了一种基于 CLDNN（Convolutional,LSTM,Fully Connected Deep Neural Networks）结合高阶累积量特征的调制格式识别方法。由于高阶累积量特征最高斯噪声具有良好的抑制效果,而CLDNN 结合了卷积神经网络（Convolutional Neural Networks,CNN）、LSTM、深度神经网络（Deep Neural Networks,DNN）的优势,在调制格式识别方面有较好的应用效果。在该方法中,将提取的高阶累积量特征和接收端接收信号自身结合,作为CLDNN网络的输入,用CLDNN中的CNN层提取时间维度上高质量的隐藏信息,然后将这些信息传递给LSTM网络进行时序建模,最后将LSTM网络的输出传递给DNN,将特征空间映射到容易分类的特征空间内,完成调制格式的分类识别。通过仿真分析,与基于传统机器学习算法相比,该方法调制格式识别的识别率更高。3.提出了一种星地下行链路联合AMC方案。由于多孔径接收技术可以抑制大气湍流,本文结合多孔径接收技术和MPSK相干调制、LDPC编码提出了联合AMC方案,并设计了一种AMC决策切换方法,根据反馈信道的提供的反馈信息,动态的改变编码效率和调制阶数,而且当系统采用低编码效率和最低阶调制时,误码率仍然无法保证时,自适应采用多孔径接收,进一步提升系统性能,保证系统在较差的信道条件下的可靠传输。经过仿真分析,与固定编码调制格式地系统以及普通自适应调制系统比较,在设定误码率阈值下,普通自适应编码调制方案满足通信误码率条件的光信噪比下限为10dB,而本文提出的联合AMC方案的光信噪比下限为8dB,同时本文提出的方案表现出了更好的平均误码率。