超高速、超大容量光纤通信系统架构是光纤通信最基础和最重要的工程科技问题。单信道传输速率从40Gbit/s提高至100Gbit/s甚至1Tbit/s已经成为必然趋势。业界亟待新的系统架构和技术导入以实现传输性能和容量的革命性提升。针对以上这些问题，本文对新型超高速、超大容量光纤通信系统架构中最重要的三个方面：相干光超大容量光纤传输系统架构、超高速强度调制直接检测(IM-DD)城域网系统架构以及超大容量相干波分复用无源光网络(WDM-PON)系统架构开展了一系列理论与实验研究。
　　在相干光超大容量光纤传输系统架构方面，如何提高单纤传输容量是最核心的问题。随着单模光纤传输容量的潜力即将耗尽，为了进一步提升传输容量，空分复用光纤传输系统的关键技术成为该领域研究的重点。在超高速IM-DD城域网系统架构方面，随着PAM-4调制格式脱颖而出，迅速进入商用阶段，研究如何利用新型数字信号处理算法优化和改进PAM-4调制格式的发送与接收性能成为学术界研究的热点问题。在超大容量相干WDM-PON系统架构方面，由于简化型相干结构与经典相干结构各有其优势，有必要在研究新型简化相干接收技术并将其引入WDM-PON架构的同时积极推进经典相干收发技术在WDM-PON系统中的应用。
　　本文主要成果与创新点如下：
　　(1)针对新型超大容量光纤传输系统架构的特点，提出运用DFT-SOFDM调制格式，在达到高频谱效率的同时，实现信号峰均功率比(PAPR)的降低，减轻光电器件和光纤传输中的非线性效应，并结合该调制格式实现了一系列相干光超大容量光纤传输系统实验。
　　(2)在超大容量空分复用光纤传输系统领域，本文设计制造了一种3模式光纤，提出了利用同步头一致性校验峰值确定少模光纤中模式耦合和模式色散参数的创新方法，并由此确定了应用于少模光纤传输实验中DFT-SOFDM信号循环前缀的长度数值，设计实施了200Tbit/s相干光信号1公里少模光纤传输系统实验。在单模多芯光纤传输方面，分别本文沿着提升纤芯数量的技术路线先后设计制造了低耦合系数的单模7芯光纤和单模19芯光纤，分别实施了560Tbit/s相干光信号10公里传输系统实验以及1.068Pbit/s相干光信号单模19芯光纤传输系统实验。
　　(3)为改进PAM-4调制的发送性能，提出了双二进制编码PAM-4调制格式，从而达到压缩PAM-4信号频谱宽度、提升频谱效率以及降低光纤色散和器件带宽对信号传输性能限制的目的。设计并实施了单通道112Gbit/s双二进制编码PAM-4信号12公里单模光纤传输实验，接收端仅使用一个50GSa/s采样速率的ADC模数转换器，系统整体的-3dB带宽仅为20GHz。在PAM-4信号的接收端，提出了一种较为简化的基于神经网络的非线性均衡接收算法，希望通过该算法提升PAM-4信号的接收性能。设计并实施了基于该神经网络接收算法的4×50Gbit/sPAM-4信号传输80公里标准单模光纤实验，验证了该算法的可行性，且接收性能相比于常用的基于Volterra滤波器的非线性均衡算法获得了2dB的提升。
　　(4)提出了一种简化型相干检测结构，降低了相干接收系统的成本与复杂度。紧接着，分别基于简化型相干结构和经典相干结构设计了新型超大容量相干WDM-PON系统架构。并针对这两种新型相干WDM-PON系统架构分别进行了实验验证，为相干接收技术在光接入网中的应用提供了有益的指导。实验结果形成的论文在2019年获得国际光通信领域顶级学术会议OFC高分论文称号。