云计算、物联网、移动互联网以及三网融合等高带宽业务的快速发展,推动了对光网络传输带宽需求的迅猛增长。先进的调制技术可以有效地改善光通信系统抵御色散、偏振模色散和非线性效应等损伤的能力,是超高速大容量光通信系统中的核心技术之一,论文对高速光通信系统中的先进调制技术进行了研究。论文首先讨论了适合高速光通信传输的调制格式,仿真并分析了各自的性能。最小频移键控(MSK)是一种恒包络调制格式,具有较大的非线性容限和能量集中等优点,论文详细阐述了光MSK码型的调制解调方法,并通过仿真软件搭建调制解调系统,并对其抵御色散和非线性等传输损伤的能力进行了理论分析。论文将MSK调制引入偏振复用系统,提出了一种PDM-MSK调制方案,并给出了其系统结构。分别对PDM-MSK方案与PDM-DPSK、PDM-RZ方案进行了性能对比分析。仿真结果表明,PDM-MSK可以有效提高系统的抗非线性能力,具有良好的传输性能,是一种很有潜力的调制方式。