由于高清视频流,云和5G等带宽消耗服务的出现,流量容量需求日益增长。高阶调制带来的高带宽利用率和相干接收带来的高灵敏度使得相干光通信在核心网的传输中举足轻重;在移动通信的高速发展的时代中,相干光通信技术在接入网中同样大放异彩;相干光通信与波分复用、光正交频分复用的结合使得城域网容量大大增加。如今,无线网络立足5G,正向第六代移动网络发起冲锋,光通信也同样面临架构和技术上的更新。新的技术包括但不限于提高带宽利用率的高阶调制格式技术、提高可靠性的高维调制技术、以及旨在使传输达到香农极限的概率整形技术、根据瞬时流量需求和链路调整带宽和调制格式的灵活收发机技术等。随着这些新技术的加入,光网络中可能出现多种调制格式并存、多种调制格式灵活转换的情况。目前相干光通信中对高阶调制格式信号的解调均衡补偿等数字信号处理方法大多基于调制格式中的幅度、相位或是频谱特征。不同调制格式的特征不同,所用的数字信号处理算法不同,解映射方式也不尽相同,混用将导致接收信号的误码率大幅上升。因此调制格式信息的识别技术的研究迫在眉睫。论文研究了相干光通信中调制格式识别相关技术,解决调制格式在不同场景下高可靠、快速识别,重点研究了光正交频分复用场景下的调制格式识别、波分复用场景下的调制格式识别、以及针对星座成型与标准调制格式同时存在时的盲调制格式识别。主要研究内容和创新点如下:(1)基于OFDM空子载波的调制格式识别方案本文提出一种利用OFDM空子载波的调制格式识别方案。该方案采用一种基于OFDM冗余子载波的信息编码方案实现调制格式信息加载,配合一种高鲁棒性的解码方案,解决了信道恶劣情况下基于特征的调制格式识别率低的问题。该方案编码方案可扩展,冗余子载波同时用作载波相位恢复算法。该方案在算法复杂度与识别所需码元个数性能上优于基于特征的调制格式识别,在编码效率上性能相近。仿真研究了方案对正常传输的误码率影响、识别率性能随OSNR变化以及方案对于子载波数目N的扩展性。研究结果表明与基于斯托克斯变换的调制格式识别以及基于幅度直方图特征的调制格式识别相比,本方案普遍可以多容纳10-15dB的信噪比劣化而达到同样高的识别率。(2)基于正交码字的调制格式信息编码方案本文提出一种基于正交码字的调制格式信息编码方案。该方案利用哈达玛矩阵挑选正交且互不为循环移位的码组作为编码信息,利用互相关系数作为判决参数设计调制格式识别方案,调制格式信息以边带信息传输。仿真研究了方案的误码率性能与调制格式识别性能。仿真结果表明在100GHz波长间隔的波分复用系统下,本方案的误码率性能损失不大。与基于特征聚类的调制格式识别相比,本方案可以在信噪比劣化5-10dB的情况下实现同样识别率。(3)基于多级卷积神经网络的盲调制格式识别方案本文提出一种多级卷积神经网络盲调制格式识别方案。该方案提出并采用一种快速采样方案将数据流转化为可变大小的矩阵作为神经网络可见层输入。方案采用两个级联的卷积神经网络实现整体分类与纠错。仿真分析了方案的识别率性能与采样码元个数对识别率影响。仿真结果表明,在添加了星座成型星座的数据中,本方案实现超过99%的识别率,与基于图像的卷积神经网络的调制格式识别以及基于复数时间序列的卷积神经网络调制格式识别相比可以多容纳至少5dB的信噪比恶化。