由于大数据的广泛使用,以及各类智能电子设备的普及,特别是随着5G的迅速发展,流量出现了爆炸性增加,人们对通信速率的要求变得越来越高。以致射频通信的频谱资源出现紧张状态,无法满足现有的频谱需求。而无线光通信可以有效缓解频谱资源紧张问题。但无线光通信系统容易受温度、气候等环境因素以及电子设备硬件接收速率的影响,以至于限制了无线光通信的实际应用。因此,怎么在不改变系统功率、带宽的前提下,提高通信系统的传输速率成为了研究热点。非正交的无线光超奈奎斯特（Faster-than-Nyquist,FTN）传输技术,能够在不改变带宽的情况下,通过压缩相邻单波间距,使其排列更加紧密,从而达到提高频谱利用率的效果。同时,FTN还可以和混合调制技术相结合,进一步提升系统的频谱利用率和传输速率。虽然FTN技术可以提升系统的频谱效率,但往往伴随着非线性的码间干扰,使得系统损失部分误码性能。因此,怎么将接收端数据中的有用信息高效、低成本的分离出来又成为了一个难题。神经网络的出现,对于解决类似的非线性分类问题,具有意想不到的效果,为信号检测带来了新的思路。本文围绕脉冲位置调制与正交相移键控的FTN混合调制信号（PPM-QPSK-FTN）,提出采用深度学习检测的方法,并对其在无线光通信系统下的传输性能进行了仿真分析。主要工作如下:1、基于反向传播算法的神经网络（Back Propagation Neural Network,BPNN）,设计了BP神经网络检测器。利用该网络超高的泛化能力、极强的非线性映射能力、超强的自适应能力、具有高度的自学能力和容错率高等优点,提出了一种基于BP算法的神经网络辅助检测方法,来改善4PPM-QPSK混合调制的超奈奎斯特无线光通信系统误码率。通过仿真,对比了BP神经网络与最大似然检测的性能,证明了神经网络检测方法的优越性。2、为了进一步提升系统性能,在长短期记忆（Long-Short Term Memory,LSTM）网络检测算法的基础上,引入了注意力机制（Attention）,提出了LSTM Attention神经网络检测算法,并通过仿真验证了该方法的可行性。该算法不仅拥有LSTM网络的优点,改善了循环神经网络（Recurrent Neural Network,RNN）长期依赖的缺点,同时加入注意力机制,克服了LSTM网络无法处理长时间序列的问题。