随着用户数量的不断增加、用户业务的多样化发展,光网络的频谱带宽资源正在枯竭,高速率、高谱效的高阶调制格式(MF)成为下一代光通信网络的必然发展趋势。高速率的信号传输性能极大程度地受各种信道损伤的影响,灵活有效的光性能监测(OPM)技术在保证信号的正确有效传输中起到愈加重要的作用,因此必须在信号传输过程中实时且有效地对信号质量进行监控,中间节点处的信号质量监测尤为重要。光信噪比(OSNR)用来衡量信号受噪声干扰的程度,与误码率(BER)直接相关,因此成为OPM中的一个重要监测对象。而MF作为OPM的先验知识,必须提前已知或从上层协议中获得。下一代的动态光网络中,MF可能会发生改变,并且中间节点的处理能力有限,从上层协议获得调制格式、传输速率等先验信息具有一定的难度,因此在中间节点处的调制格式识别(MFI)也是OPM中必不可少的一环。本论文针对高阶调制信号的OPM技术展开研究,主要工作和创新点如下:(1)分析了现有OPM技术方案的优缺点,重点研究了 OSNR监测和MFI技术,综合考虑灵活性、成本效益、实施复杂度等因素,指出基于异步采样的监测方案具有复杂度低和灵活性高的特点因而更适合应用在中间节点。(2)针对中间节点的OSNR监测要求实施简单、灵活高效的特点,从数据角度提出了基于异步幅度采样(AAH)和深度神经网络(DNN)的OSNR监测方案,简单的数据分布统计和类人脑的DNN模型降低了计算复杂度并提高了数据分析的精度,仿真结果证明,在端对端传输中,该方案可以实现对三种正交幅度调制(QAM)信号OSNR的100%正确判别,但是该方案在中长距离传输中表现有所欠缺。(3)针对基于AAH的OSNR监测方案在中长距离传输中表现不佳的问题,从图像角度提出了基于异步延迟抽头采样(ADTP)和卷积神经网络(CNN)的OSNR监测方案,仿真结果表明该方案在色散(CD)为1920 ps/nm时仍能正确区分三种QAM信号的OSNR,其较强的抗色散能力更适合中长距离传输。(4)针对中间节点不易获得MF等先验信息的问题,提出了一种基于ADTP和CNN的OSNR和MFI联合监测方案,并通过CD为1280 ps/nm的三种QAM信号的ADTP数据集验证了该联合监测方案的可行性,实现了调制格式透明的OSNR监测。