随着虚拟现实(VR)、增强现实(AR)等新型应用场景的出现,人们对于传输速率和通信系统容量的要求越来越高。新型多载波调制技术是提升系统传输速率的关键之一。目前大部分5G候选调制技术是基于正交频分复用(OFDM)进行了改进,使其在带外抑制、频谱利用率等方面有了明显改善。光载无线(RoF)技术结合了光纤通信和无线通信的优势,在提供大带宽的同时,可以灵活配置网络资源,因而成为了提升系统容量的理想方案。本论文通过软件仿真和实验测试方式,研究了OFDM、通用滤波多载波(UFMC)、滤波器组多载波(FBMC)和滤波正交频分复用(F-OFDM)四种信号在RoF系统中的传输性能,并采用人工神经网络(ANN)对接收信号进行了均衡优化。该研究工作对于新型多载波调制和神经网络技术在新一代通信网络中的应用和推广具有一定参考意义。本文首先介绍了RoF系统的关键技术,包括光外调制技术、光纤色散和非线性的补偿方法。其次,介绍了常用的信道估计与均衡技术,并结合当前热门的人工神经网络,引入了应用于光通信系统的神经网络典型模型和训练算法。然后,介绍了多载波调制的基本理论,给出了UFMC、FBMC和F-OFDM三种新型多载波调制的系统结构。基于上述理论基础,本文做了以下工作:(1)通过VPI软件仿真,研究了UFMC、FBMC和F-OFDM三种新型多载波调制信号在传统均衡方式下的传输特性,并与OFDM进行了对比;分析了光纤长度、色散参数、非线性折射率、输入信号幅度和光调制方式对四种信号传输性能的影响。(2)搭建了实验平台,测试了在传统均衡方式下,四种多载波调制信号的误码率、Q因子和EVM等指标,并比较了基于不同导频结构和开销的均衡效果。实验结果表明,采用传统均衡方式的信号EVM较大。(3)设计了面向RoF系统的人工神经网络均衡器结构,研究了四种信号在反向传播(BP)、径向基函数(RBF)、精确径向基函数(RBFE)、广义回归神经网络(GRNN)、K均值(Kmeans)五种神经网络均衡算法下的传输特性,比较了各信号的星座图、误码率和EVM等性能指标。实验中,对于经过10km光纤和2m自由空间传输的16Gbps F-OFDM信号,采用Kmeans处理使EVM从8.16%降低至4.41%,而采用GRNN均衡后信号EVM仅为0.37%。对于经过相同RoF链路传输的16Gbps UFMC信号,采用BP算法实现了EVM从8.41%降低至7.39%,而使用Kmeans处理后EVM降至4.75%,GRNN均衡后EVM仅为1.03%。16Gbps FBMC经10km RoF链路传输后,采用GRNN处理的信号EVM下降了14.93%。实验结果证明,基于神经网络均衡的新型多载波调制系统其误码性能有了明显提升,而五种神经网络算法中GRNN的均衡效果最佳。