光通信网络向弹性方向发展,为了解决互联网流量的快速增长和新出现的数据中心,下一代接收机需要支持自适应的频谱效率,从而提高传输效率和节省网络带宽,时域混合调制格式被认为很有前途的技术,它可以有效的调节频谱效率或比特率。偏振复用技术利用光在单模光纤中传输的偏振特性,将传输波长的两个独立且相互正交的偏振态作为独立信道分别传输两路信号,成倍提高了系统容量、增加了频谱利用率。由于两个偏振态在光纤链路传输过程中会受到双折射的影响,使得偏振态发生变化形成相互之间的串扰,在接收端实现信号的解复用是需要解决的难题。随着可重构发射机的出现可以产生任意的相干光调制格式,接收机也得提前知道相应的调制格式,调制格式识别是其中一个必不可少的环节,从而保证信号最佳获得和解调。在斯托克斯空间偏振混合、载波频率偏移和载波相位偏移不会影响信号在邦加莱球上的形状,通过相干接收机进行数字信号处理,把信号表征到斯托克斯空间利用变分贝叶斯期望最大化对高斯混合模型进行聚类,从而识别相识调制格式。斯托克斯空间完美的呈现了信号的偏振态信息,根据其在邦加莱球上的数据找出最佳的拟合平面并找出经过拟合平面原点的法向量,从而得到逆琼斯矩阵进行偏振解复用。仿真了112 Gbit/s的QPSK信号和224 Gbit/s的16QAM利用斯托克斯空间进行偏振解复用,讨论了QPSK信号在不同的OSNR情况下的性能曲线并对比了背靠背情况下解偏振代价。基于斯托克斯空间的偏振解复用与调制格式无关的特性,仿真了时域混合的QPSK&16QAM信号并讨论了不同的功率比和码元比情况下,利用仿真结果对比不同功率比和码元比的时域混合信号的性能,最后在时域混合信号的基础上讨论了基于斯托克斯空间偏振解复用的收敛速度。本文基于变分贝叶斯期望最大化算法进行调制格式识别。在偏振解复用之前,基于斯托克斯空间在三维空间进行聚类从而判别相应的调制格式,仿真分析了QPSK、8PSK、8QAM和16QAM四种调制格式,计算相应的代价函数并进行对比,可以很好的区别调制格式;在偏振解复用之后,基于平均功率识别正交幅度调制格式,仿真分析了QPSK、16QAM以及32QAM信号,结合调制格式判决流程图进行调制格式识别。