随着5G网络即将大规模商用的大背景下,互联网流量将持续爆增,采用强度调制、直接检测的光通信系统已经不堪负荷,与数字信号处理技术相结合的高阶调制格式成为新的发展方向。这一方案能够大幅提升频谱效率和传输距离,从而能够满足日益增长的流量需求。在实际功率受限的通信系统中,概率星座整形技术可以在不影响编码调制性能和不扩展频谱占用率的前提下,提升系统容量、优化传输信号对非线性效应的容忍度,进一步提升接收端的误码性能,降低对光信噪比(OSNR)容限要求,增大信号传输距离。在此基础上,本文围绕超100G高级调制解调技术、高速光通信中的数字信号处理技术和高阶正交幅度调制(QAM)调制中的概率星座整形技术展开理论和实验研究,主要研究工作及成果如下:(1)研究了高级调制解调的基本原理,就正交幅度调制等高阶调制的调制解调原理展开分析,并深度剖析了光相干探测的原理和光相干接收机的工作机制。针对400Gbit/s光传输系统的调制方案,对基于Nyquist WDM系统的四载波PM-QPSK、双载波PM-QPSK、双载波PM-16QAM和单载波PM-16QAM这四种400Gbit/s传输方案进行技术对比研究,分析不同调制方案的传输性能和应用场景。(2)对光纤损耗、色度色散、偏振模色散、相位噪声、非线性效应等链路损伤的基本原理进行理论分析。并针对相应的链路损伤,分析研究了基于相干接收的数字信号处理(DSP)补偿技术,如Bussgang类盲均衡算法中的恒模算法(CMA)和多模算法(MMA)。利用VPI transmission构建400Gbit/s偏振复用相干光通信仿真系统并进行了仿真实验,研究分析了光纤损耗、色散、偏振模色散(PMD)等信道损伤对高速光信号产生的影响,并且采用MMA和盲相位搜索算法(BPS)等DSP补偿算法恢复损伤的信,通过仿真结果展示了DSP恢复算法对实际线路中高速光信号的补偿效果。(3)论证说明了星座整形技术和概率星座整形研究的必要性。然后通过信息论的知识说明了信道中的互信息和信道容量的关系,解释了概率星座整形的技术原理,证明了整形增益的最大值为1.53dB和在功率受限的光通信系统中,输入信号的分布为高斯分布时,系统的互信息(即信道容量)最大,并比较了不同概率星座整形方案的优劣。(4)针对超100G光网络中信道受限问题,研究了基于算数编码的速率可调正交幅度调制概率星座整形调制方案,使光网络传输容量更接近香农极限,并且提高信号的噪声恢复能力。在该方案中,发送端由分布匹配器和前向纠错(FEC)编码器组成,分别负责对信号进行概率整形和信道编码的任务,系统通过改变分布匹配器的概率分布来调节速率;接收端由FEC解码器和反向分布匹配器解码噪声信号恢复数据。为了研究整形方案的传输性能,本文进行了两组对比实验,实验一的结果显示概率整形(PS)16QAM对比16QAM,OSNR的增益为0.382dB、互信息增益0.09bit/symbol;实验二的结果显示在相同频谱效率(SE)时,PS-64QAM对比16QAM,OSNR的增益为0.8dB、互信息增益0.153bit/symbol,同时两个实验中加了概率星座整形的调制格式,误码率性能都明显优于标准16QAM。