移动互联网时代的到来特别是大数据业务的迅速发展，在带宽、速率等方面对通信技术提出了更为严苛的要求，自由空间光通信（FSO）因其多种优势正越来越受公众的关注。FSO可以以更低的功率损耗支持更高速率的传输，同时不需要进行频谱认证。然而激光信号在经过其通信信道传输时容易受到大气湍流以及各种天气状况的影响。与IM/DD系统相比，光相干通信因为采用一定的调制技术所以受通信链路的影响较小，且其调制方式灵活。当前基于PAM、PSK、DPSK等调制方式的空间相干光通信系统的研究已经相当成熟。QAM调制以其更高的频谱效率，逐渐被研究者重视,对于QAM/FSO系统研究也越来越多。另外必须认识到的是在自由空间光通信尤其是空间相干光通信系统中，大气湍流以及激光器相位噪声的影响不容忽视。　　首先，本文在深入分析大气湍流以及衰减效应的同时，建立了基于QAM调制的自由空间光通信系统架构。且在不同大气信道模型下推导出了系统的信噪比以及误码率，并对两者之间的关系进行了理论分析。并且将建立的基于QAM调制的FSO通信系统与基于DPSK调制的FSO系统进行了性能比较，得到了两者之间的关系曲线。并由此说明了QAM调制技术的引进增加了FSO通信系统的优势。　　其次，考虑将已经成熟的DSP相位估计算法引入到所建立的基于QAM调制的FSO通信系统中。提出将DAML算法应用到光相干QAM信号的相位估计中，分析了该算法原理；同时探讨了DAML相位估计算法在大气湍流、激光器相位噪声下的误码性能。　　最后，本文对前文提到的相位噪声对通信系统误码性能的影响进行了一系列蒙特卡洛仿真。