数据中心业务量高速发展,系统容量以及带宽需求增加的同时,需要满足低成本传输要求。为了应对这个挑战,具有结构简单、频谱利用率高的先进调制格式受到了越来越多的关注。几种先进的调制格式,比如:离散多音频调制（DMT）、脉冲幅度调制（PAM）以及无载波幅度和相位调制（CAP）格式等受到了广泛的研究。DMT和PAM-4是候选调制格式中的首选,其分别属于多载波和单载波调制,本质上的差异致使两者在很多场景下表现出诸多的不同。在强度调制和直接检测（IM/DD）系统中,发送机和接收机的带宽往往受到器件自身的限制,甚至小于信号的波特率。并且,在IM/DD系统中一些低成本的器件由于粗糙的封装工艺,以及激光器啁啾和色散的相互作用导致频率选择性衰落。传输环境的复杂性导致系统频响特性多样性对信号的传输性能影响很大。本论文中研究了通过光注入锁定提高调制带宽技术,以及低成本带宽受限的光纤传输系统中DMT和PAM-4信号的传输性能,比较分析了不同类型的频响对两种信号产生的差异并详细分析了数字信号处理的计算复杂度。主要研究工作如下:1、通过实验平台搭建了基于光注入锁定技术的IM/DD传输系统,研究了注入光功率对两种信号的影响,对比了背靠背（B2B）传输时DMT和PAM-4的功率代价。背靠背条件、传输速率10Gb/s、频带利用率为1.67bit/s/Hz时,PAM-4相较于DMT有大约2dB的功率代价。但当速率为20Gb/s时,由于激光器带宽限制,DMT采用比特加载算法,相比PAM-4信号仍有0.5dB的劣化。最后完成了DMT在6dB带宽不足1GHz的带宽受限系统,实现26.5Gb/s信号在标准单模光纤中传输25km,BER为3.6?10^-3。2、针对实验中系统频响对两种信号产生的差异,通过数值仿真对比了带宽受限光传输系统中不同的频响特性对DMT和PAM-4信号的影响,定量分析系统频响和SNR以及比特率对DMT和PAM-4信号在传输容量和功率代价等方面产生的影响。当信号的SNR足够大时,除了带宽这个因素外,特殊的信道响应曲线对传输性能有较大影响。在接收端可以通过数字信号处理补偿其引入的失真,牺牲计算复杂度优化信号性能的同时不可避免的增加了系统成本。文章详细分析了在带宽受限系统中DMT和PAM-4信号的计算复杂度,因此在信号性能和计算复杂度之间需要作出权衡。