为满足日益增长的数据传输业务需求,光纤通信系统正朝着高速,长距离和动态可重构方向发展。此外为了支持不同的传输业务,光纤通信系统中可能同时传输不同调制格式和速率的光信号。提高信道传输速率会导致系统色散容限不断降低,同时光纤链路重构和环境温度变化还会引起光信号色散的动态变化,为实现光信号质量的监测和色散损伤的动态补偿必须对不同格式的光信号色散进行在线的精确监测。因此调制格式透明的光信号色散监测技术已成为实现下一代光纤通信网络的关键技术之一。本论文围绕调制格式透明的色散监测技术展开了理论和实验研究。首先,设计和实现了一种基于光纤四波混频(Four Wave Mixing,FWM)的全光色散监测器件。全面分析FWM相位匹配条件对于信号增益的影响,给出了获取高阶非线性功率传递函数(Nonlinear Power Transfer Function,NPTF)的有效方法;提出了适用于高级调制格式信号的NPTF优化方法,输出信号对比度提升3dB;在此基础上通过对称中心识别算法,扩展了色散监测范围,实现了对自发辐射噪声和偏振模色散不敏感,对调制格式透明的全光色散监测;接着,搭建了实验平台,实现了高阶的NPTF,实验结果与仿真结果相符。其次,研究了基于信号功率波形自相关函数(Auto-correlation Function,ACF)的电域色散监测技术,通过引入差分滤波器提高了对各种占空比和奈奎斯特信号的色散监测精度;并通过仿真和实验测试了此方法对各种调制格式信号的色散监测精度和对不同损伤因素的容限。最后,根据信号功率峰均值比随色散的变化特性,提出了一种基于功率直方图宽度面积比(Width to Area Ratio,WAR)的色散监测方法,并将应用于调制格式识别(Modulation Format Identify,MFI)系统,扩展了MFI系统的色散容限,并实现了偏振复用和非偏振复用信号的识别。