随着云计算、物联网、人工智能、5G移动通信等数据服务的飞速发展,全球互联网流量需求呈现指数级增长趋势,这给作为信息传输基石的光纤通信网络带来了巨大的挑战,迫使其朝着高速率、长距离、低成本以及可重构的方向发展。然而,面对未来复杂的网络结构和稀缺的频谱资源,传统的通过增加冗余或通过先验信息的方式处理链路损伤的方案已经不再适用。因此,为了降低网络运营成本,实现资源利用率最大化并保证高速光传输网络的最佳运营,连续进行光性能监测是必不可少的,而调制格式（Modulation Format,MF）、光信噪比（Optical Signal to Noise Ratio,OSNR）和残余色散（Residual Chromatic Dispersion,RCD）作为光性能监测的关键参数,是人们研究关注的焦点。本论文围绕高速光传输系统中光性能监测关键技术展开研究,主要研究内容概括如下:1.提出了一种改进粒子群优化（Modified Particle Swarm Optimization,M-PSO）算法辅助的弹性光网络盲调制格式识别（Modulation Format Identification,MFI）方案。相比于传统的PSO算法,M-PSO算法中每个粒子的视野皆受到了严格的限制,进而实现了密度分布直方图（Density Distribution Histograms,DDHs）上局部极值点（Local Extremum Points,LEPs）的搜索。在实验中,DDHs上局部极值点的分布是调制格式相关的,因此可以将其作为关键的识别度量。所提方案在整个识别过程中不需要OSNR先验信息,且对频偏和线宽表现出了固有的鲁棒性。提出方案的有效性通过28 GBaud偏振复用（Polarization Division Multiplexing,PDM）-二进制相移键控（Binary Phase Shift Keying,BPSK）/正交相移键控（Quadrature Phase Shift Keying,QPSK）/8正交幅度调制（Quadrature Amplitude Modulation,QAM）/16QAM系统进行了验证。仿真结果显示,实现100%识别所需要的最小OSNR皆低于相应的7%前向纠错（Forward Error Correction FEC）门限（BER=3.8e-3）。此外,在本方案中还分析了提出方案对RCD、差分群时延（Differential Group Delay,DGD）以及非线性效应的容忍度。研究结果表明,提出的MFI方案对线性和非线性噪声皆表现出了较好的鲁棒性。最后,我们对提出方案的计算复杂度进行了分析。2.提出了一种基于轨迹信息的Stokes矢量直接检测（Stokes Vector Direct Detection,SVDD）光传输系统多参数光性能监测方案,包括调制格式识别、OSNR监测和RCD估计。众所周知,不同的调制格式信号受到不同的损伤后,其团簇分布是不同的。确切地说,团簇的数量和发散程度是不同的。由相邻符号之间的连线构成的轨迹不仅可以准确地表现上述空间维度上的差异性,而且可以在时间维度上记录符号之间的跳变模式。因此可以将其作为执行光性能监测的度量。通过搭建VPI仿真系统验证了提出方案的有效性。针对基于轨迹信息的SVDD系统联合调制格式识别和OSNR监测,在选择的合理OSNR范围内,SVDD-BPSK、SVDD-QPSK、SVDD-8QAM、SVDD-16QAM、SVDD-32QAM和SVDD-64QAM皆能被100%识别。针对基于轨迹信息的SVDD系统多参数光性能监测,提出的方案在相应考虑OSNR范围内即使RCD达到160 ps/nm,3种常用调制格式仍能够100%被识别,OSNR监测和RCD估计的平均绝对误差（Mean Absolute Error,MAE）分别为1.08 d B和3.22 ps/nm。最后,我们还证明了提出光性能监测方案对波特率的鲁棒性及相对简单的计算复杂度。