随着大容量光纤通信系统的单信道速率从100Gb/s向1-Tb/s演进,电器件的带宽瓶颈问题变得越来越严峻。为了实现更高的单信道数据通信速率,光域并行的超信道系统是一种可行的系统方案。在超信道系统中,多个子信道在频谱上（近乎）无缝的排列在一起,作为一个整体在光纤中进行传输。其中的一种超信道系统方案是,发射端使用高信噪比的频率锁定多载波光源,加载经过Nyquist脉冲成型的高阶QAM信号,接收端使用相干接收并使用数字信号处理对信号进行恢复。另一方面,灵活动态是未来光网络的另一个特征,Nyquist-WDM和全光的波长变换能够很好的支持这样的网络:Nyquist信号矩形的频谱方便多个不同速率的信道“无缝”拼接,而全光的波长变换可以增加路由和波长分配的灵活度,实现频谱资源利用率的最大化。本论文围绕超信道光纤通信系统的关键问题,主要研究以下几个内容:1)基于循环频移器的低噪声多载波光源产生方案;2)基于数模转换器的Nyquist-16QAM信号的产生与优化;3) Nyquist-WDM超信道系统的长距离传输;4) Nyquist-WDM系统在灵活栅格光网络中的波长变换。论文的主要工作如下:分析了 SSB-RFS （单边带调制循环频移器）多载波光源在循环过程中的噪声积累问题,并研究了三种改进方案:1)基于线性IQ调制器的改进方案,使用线性IQ调制器进行频移,可以在35dB的旁瓣抑制比下,使移频信号的功率提高大约4dB,相应的光源的OSNR可以提高4dB; 2)基于光FIR （有限冲激响应）滤波器的噪声抑制的SSB-RFS结构改进方案,在该方案中利用多抽头光FIR滤波器,可以极大地抑制SSB-RFS光源循环过程中的噪声积累。理论计算表明,8-tap的滤波器可以使100个载波有足够高的OSNR （光信噪比）来携带16QAM信号。利用2-tap的滤波器,实验产生了 69个低噪声的多载波,OSNR提高了 8.7dB。3)基于受激布里渊的放大的SSB-RFS改进方案,利用受激布里渊放大替代EDFA,可以有效的减少每次放大引入的自发辐射噪声。利用该方案,实验产生了 8个噪声极低的多载波,与普通SSB-RFS相比,噪底降低了大约10dB。针对Nyquist-mQAM信号的产生与均衡,研究了基于DAC （数模转换器）的Nyquist脉冲成型技术,对削波率、调制指数等参数进行了优化。研究了发射端和接收端通道间skew （同步偏离）带来的性能损伤,并针对发射端IQ两路之间的skew提出基于复共轭信号和实数信号的自适应后置均衡方案,利用提出的均衡方案,使25Gbaud Nyquist-16QAM系统在达到7%的前向纠错误码门限所需的OSNR降低了 1.5dB。优化后的25GbaudNyquist-16QAM信号,以7%的前向纠错编码开销,在标准单模光纤中进行了 800km传输。利用SSB-RFS光源产生的20个载波,加载了 Nyquist脉冲成型信号,搭建了 4 Tb/s的超信道传输实验平台。在背靠背实验系统中,研究了 SSB-RFS光源噪声抑制对超信道系统性能提升情况。实验结果表明,使用经过梳妆滤波噪声抑制的光源,系统性能有显著的提升,20个信道都可以达到比较一致的误码率（～1e-3）。利用低噪声光源上加载的20×25Gbaud DP-Nyquist-16QAM超信道信号,并假定20%的前向纠错编码开销,实现了 1120km的超信道传输,系统的净容量3.2 Tb/s,频谱效率 6.03bit/s/Hz。实验实现了 Nyquist-WDM信号在灵活栅格光网络中基于SOA（半导体光放大器）的波长变换,并研究了三种不同信道间隔下的波长变换效率和OSNR代价。结果表明,即使在50GHz的信道栅格下,变换后3个信道的误码率都达到了 7%的纠错编码阈值以下。波长变换的OSNR代价表明,更紧凑的信道栅格可以使三个信道在波长变换以后得到较为一致的误码率性能。Nyquist脉冲成型往往用来平衡信道间串扰与系统频谱效率,对含有SOA波长变换的链路,经过Nyquist脉冲成型的信道可以使用更紧凑的间隔来平衡波长变换与信道间串扰带来的代价,频谱效率可以更高。当链路中含有SOA的波长变换器时,这些结果可以用来优化路由、栅格和频谱分配策略。