随着通信数据量的大幅增加,通信速率面临着极大的挑战,射频通信频谱资源紧张、速率低,已不能满足现代社会对于高速率信息传输的要求。而激光通信具有频谱不受限、速率高、保密性强、成本低等优点,因此使用激光作为信息传输的载体具有明显的优势。另一方面,1975年Mazo提出了超奈奎斯特（FTN）速率传输理论,该理论指出当加速因子大于等于某个阈值（Mazo限）时,在不改变系统带宽、功率的情况下可以有效提高系统的传输速率。因此,将FTN技术与激光通信相结合可以大幅提高系统的传输速率,具有很强的应用前景。FTN作为一种非正交传输技术,当加速因子小于Mazo限时,其波形之间的叠加较为紧密,从而在抽样点处产生叠加干扰,使通信系统的可靠性降低。针对这一问题,本文主要研究FTN信号经过大气光通信系统时的传输特性,分析FTN成型时引入的码间干扰（ISI）问题,研究并设计相应的干扰消除算法。首先将4阶脉冲幅度调制（4PAM）技术与FTN技术相结合构建了4PAM-FTN大气激光通信系统,给出了发射机与接收机的系统模型,分析了加速因子为0.8时系统的误码性能。通过对4PAM-FTN大气激光通信系统的研究,发现当加速因子为0.8时,系统的可靠性将大幅度降低,严重影响正常的通信功能。针对此问题,提出了基于矩阵干扰消除的分块传输方案。仿真结果证明该方案在固定的码间干扰长度下可有效降低FTN成型时引入的码间干扰对系统误码性能的影响,同时采用分块传输技术能够大幅度降低系统的计算复杂度。为进一步提高系统的可靠性,提出了一种基于逐点消除的自适应预均衡算法,理论推导了该算法下系统的理论误码率（BER）并计算了系统的计算复杂度。数值分析结果表明,采用此算法可以在不同加速因子条件下有效消除FTN成型时带来的码间干扰,其可靠性几乎等同于正交传输系统,但是在解决码间干扰问题的同时,增加了系统的计算复杂度。因此可以根据实际需要,在系统传输速率和复杂度之间进行平衡,选取最佳加速因子,使系统性能最优化。综上所述,本文所设计的两种FTN大气激光通信系统能够有效解决FTN成型时产生的码间干扰问题,对于FTN技术在大气激光通信系统中的进一步应用提供了参考。