随着云业务、视频流业务和移动互联业务的快速发展,5G前传光承载网对于传输容量的需求日益迫切。前传光承载网段日益增长的带宽需求不仅要求更高的传输速度,还需要保持较低的系统成本。因此强度调制直接检测（IM/DD）技术由于其结构简单、复杂度低和功耗低的特点,仍是短距离传输的理想选择。但是成熟的商用低成本光电器件的带宽通常是有限的,当传输速率很高时,带宽明显小于信号的波特率。考虑到低成本光学器件的有限带宽,人们研究了具有高频谱效率的先进调制格式和先进的数字信号处理（DSP）技术,以降低信号的波特率。但是复杂的DSP技术需要高速的数模转换器（DAC）和模数转换器（ADC）,大大增加系统的复杂度和成本。这对于成本敏感的用户侧的光网络单元来说并不划算。因此,对于基于强度调制和直接检测的高速短距离系统来说,先进的调制方案如脉冲幅度调制（PAM）,无载波幅度相位调制（CAP）以及离散多音调制（DMT）是最有潜力的研究课题,因为它的DSP结构更简单,复杂度更低。本文主要针对前传光承载网器件带宽受限的问题,对先进调制格式展开了研究。在短距离系统中先进调制格式的主要研究工作和创新点如下:一、搭建了基于带宽受限器件的IM/DD光纤通信联合仿真平台,系统包含发射机、DAC、光纤信道、光衰减器、光接收机和ADC,通过简单的信道均衡技术,实现了不同调制信号的传输。二、在带宽受限的50 Gb/s无源光网络（PON）系统仿真平台中引入高频谱效率的先进调制格式,在相同的系统条件下,对其性能与复杂度进行分析、讨论与比较,总结了三种调制格式传输20公里标准单模光纤（SSMF）后的接收灵敏度和功率预算,三种调制格式都在硬判决门限（HD-FEC）下实现了超过29d B的链路功率预算。三、在带宽受限的100 Gb/s光通信系统仿真平台中,仿真对比了三种先进调制格式的性能,分析了三种调制格式传输20公里SSMF后的接收灵敏度和功率预算,三种调制格式都在HD-FEC阈值门限下实现了超过25d B的链路功率预算,还讨论了他们的热噪声性能和抗色散性能。