调制格式识别技术在军用和民用通信领域中均起到至关重要的作用,并在无线通信领域得到了长足发展。但由于光纤链路的静态特点,光纤通信中的调制格式识别技术研究进度一直相对缓慢。而下一代光网络的出现,使调制格式识别技术在光通信领域中的广泛应用成为可能,吸引了许多学者的深入研究。但目前研究中的调制格式种类较少,应用范围有限。对此,本文采用了合理的光纤信道模型,对典型、高效、应用范围广并且发展前景良好的多种调制格式的识别性能进行了研究。首先,本文采用了基于非线性传播的高斯噪声(GN)模型,对密集波分复用(DWDM)系统中不同调制格式的识别性能进行了研究。研究对象共包含23种调制格式,除包含振幅键控(MASK)、相移键控(MPSK)、正交振幅调制(MQAM)等规则调制格式外,也包含高阶振幅相移键控(MAPSK)星座图、二维最优星座图等经过性能优化的调制格式。针对MASK、MQAM、MAPSK调制识别过程中的部分特征参数随信噪比变化的问题,提出了基于训练序列的阈值优化方法,使其在低信噪比下的识别率提高至91%以上。此外,本文研究了DWDM系统的色散、非线性及传输距离对识别率的影响,对不同调制格式的识别性能进行了仿真分析。同时,本文使用OptiSystem光学仿真软件搭建了单信道色散补偿光纤传输系统,对单信道情况下的光纤通信系统中同阶不同类型的调制格式识别性能进行了对比研究。仿真结果指出,在DWDM系统中,MAPSK是最优的调制类型,识别率高于99%,二维最优星座图是次优的调制类型,其识别率高于93%；而在单信道色散补偿光纤传输系统中,二维最优星座图则对光纤信道的影响表现出较差的适应性。