随着新型终端设备的涌现以及大数据、云计算的快速发展,人们对带宽的需求快速增长。高速率、大容量的光通信网络成为下一代通信网络的发展主流。相比于传统骨干光网络的10G传输系统,目前100G系统已经被运营商大规模部署,400G系统也即将迈开商业化步伐,人们已经将研发目标聚焦于太比特系统。受限于电子瓶颈,新一代光网络中传输速率的提升,主要依赖于高阶调制格式的使用,从100G系统的QPSK到400G系统的16QAM和32QAM到未来太比特系统的64QAM等,调制格式的阶数越来越高。另一方面,电话、电视广播、电子医疗、电子商务、视频点播等业务的市场占有率也在不断改变,先进的视频业务将成为全球增长最快的业务。服务供应商将会根据用户需求提供不同质量的服务。为应对这一挑战,支持多种调制格式、多种调制速率的新一代弹性光网络应允而生。新一代弹性光网络提出了网络资源可调度、动态带宽、流量和传输距离自适应等可重构概念,光网络可以在发射端根据光信噪比(OSNR,Optical Signal-to-Noise Ratio)、传输距离等信道状况和业务流量,灵活自适应对于调制格式进行选择,使得网络效率最大化。新一代光网络相比于传统光网络具有高速率、高频谱效率、灵活的调制格式运用、网络动态可重构的新特征,流量和传输距离的自适应,要求调制格式与路由的灵活选择,这样对于固定节点的接收机,要求对于从不同路由传输过来的不同调制格式要有预先的判断,由此提出了调制格式识别(MFI,Modulation Format Identification)。本文围绕相干光通信系统中调制格式识别这一主题,对不同调制格式的时域特征,频域特征,星座图特征以及斯托克斯空间特征的提取以及识别算法展开深入研究和分析,主要研究工作如下:(1)搭建相干光通信系统,实现各类调制格式信号的加载和传输。探讨了五种识别方案的性能,并对识别方案的适用范围以及优缺点进行分析和比较。(2)理论推导了五种调制格式在斯托克斯空间的分布特征。提出利用空间分布的对称性选择指定区域数据进行调制格式识别的改进方案。与已有方案相比,有效降低运算复杂度的同时,将识别范围扩展到更高阶调制格式,如32QAM。(3)对于基于斯托克斯空间的调制格式识别方案,本方案创新之处有三点:a.提出利用频谱特征和斯托克斯空间特征相结合的两级识别方案,首先利用归一化中心瞬时幅度的频谱最大值进行QAM信号和PSK信号首次分类,依据此结果利用聚类算法进一步进行不同调制格式细分;b.聚类算法采用模糊C均值与分层聚类相结合,有效减少聚类复杂度,同时提升聚类效果;c.对于模糊C均值算法进行优化,利用一定规则进行初始聚类中心选取,避免陷入局部最优结果。仿真结果表明,该算法有效提升OSNR代价至少1dB,成功识别QPSK,8PSK,16QAM,32QAM 所对应的 OSNR 阈值分别为 17dB,22dB,28dB,30dB,同时 QPSK 和 32QAM 对一阶 PMD 的容忍度分别达到22ps和14ps。