随着5G通信系统的部署和6G通信技术研究的深入展开,信息网络对大容量和高速率接入技术的需求不断增长,除此之外还需满足人工智能、虚拟现实、车联网、机器人等方面数字化应用的速率需求。大气激光通信技术作为有效解决高速率需求的备选技术之一,其发展趋势与潜力已引起各国高度关注。但大气激光通信系统性能容易受到大气信道环境及实际电子器件速率限制的影响,从而导致现有的大气激光通信技术难以满足高速无线通信的需求。因此,在带宽有限的前提下为了提高大气激光通信系统的传输速率,提出了超奈奎斯特光传输技术。超奈奎斯特(FTN)光传输技术作为一种非正交传输技术,其信号速率大于奈奎斯特速率,与低阶调制格式相结合应用于大气光通信系统时,可以进一步提高通信系统的传输性能。但是,光信号在长距离的大气中传输时,会受到大气湍流的影响造成的湍流效应会导致系统的误码率增加、信道容量减小等问题。因此,本文针对超奈奎斯特光传输技术在大气湍流信道传输时存在湍流效应的问题,分析了不同湍流情况下,超奈奎斯特光传输系统的信道容量及误码性能。本文结合四进制相移键控(QPSK)和超奈奎斯特技术设计了超奈奎斯特速率大气激光通信系统,给出了基于FTN-QPSK信号的大气光传输系统模型,理论分析了不同闪烁因子下的信道容量和误码性能。在此基础上推导出了在log-normal大气湍流信道模型下的误码率表达式。通过蒙特卡洛仿真数值分析,将不同湍流强度下FTN-QPSK信号与传统调制方式QPSK信号的信道容量和误码率分别进行了比较,能够看出所提出的FTN-QPSK大气光传输系统具有更高的传输速率和频谱效率。当SNR为30dB、S.I.为0.4时其频谱效率可以达到1.6Baud/s/Hz,相比未采用超奈奎斯特技术时提高了约14.2%。另外,对于该系统传输性能及误码性能受加速因子的影响问题,证明可以通过调整加速因子的值对系统的传输速率和误码性能进行有效折衷。为进一步扩展研究的适用范围,分析中、强湍流强度下的系统性能,在研究了log-normal大气湍流信道所代表的弱湍流信道的基础上,本文进一步分析了Gamma-Gamma湍流信道下的FTN大气激光传输系统,理论推导了其系统信道容量和误码率的表达式。数值分析结果表明,将FTN技术引入大气激光通信系统后,强湍流对该系统的性能有比较明显影响。而在中、弱湍流条件下,采用FTN-QPSK技术后系统的平均容量明显优于未采用FTN技术系统的平均容量。与未采用FTN技术的系统相比,虽然弱、中湍流情况下误码性能会有所下降,但系统平均容量有明显的提高,相比较而言误码性能的损失基本可以忽略。因此FTN技术的引入,为大气激光通信实现大容量、高速率传输提供了一种可能和有效的措施。