伴随着6G和新基建的不断发展,人们对光通信网络的传输容量及通信速率的需求也在呈指数增长,对光信噪比、色散以及光纤非线性的要求也越来越严格,为减少上述因素对高速光纤通信的影响,在光纤通信信号中引入前向纠错编码是非常有效的方法之一。极化码是一种新型编码方式,是第一个在信息论上被证明可以获得信道容量的构造型编码方法,且不存在错误平层,已成为纠错码领域的研究热点,也为下一代光通信前向纠错编码技术提供了新思路。本文主要研究了基于极化码的编码调制方案在相干光通信系统中的性能表现,并设计了一种适用于偏振复用光通信系统的极化交织器。具体研究内容和创新点可归纳如下:(1)介绍了极化码编译码原理和三种极化码构造方法,搭建了基于极化码的DP-16QAM相干光通信系统。对比分析了在不同的设计信噪比下三种构造方法在系统中的性能表现,仿真结果表明不同的构造方法在不同的设计信噪比下的性能表现不同,其中-1.5d B设计信噪比下的蒙特卡洛构造法性能表现最优。(2)研究了通用领域的编码调制技术,阐述了基于极化码的传统BICM编码调制系统存在比特不平衡问题。提出了适用于DP-16QAM相干光通信系统的多级编码调制方式,使用两个MLC编码器对DP-16QAM的四个二进制信道进行联合多级编码,并根据二进制信道的可靠性调节码率,以较低的硬件复杂度解决比特不平衡问题。(3)首次提出了基于极化交织的光通信系统,利用极化码的极化递归结构对偏振复用光通信系统的两路偏振进行统一编码调制处理,仅使用一个编码器对DP-16QAM的多个二进制信道进行联合编码。同时,采用基于四维解调的解交织方式,对两个偏振幅度和两个相位的变量进行联合解调,提高了频谱利用率。对比分析了传统BICM、二维极化交织、四维极化交织三种方案在不同OSNR和PMD下的BER性能表现,验证了所提方案的有效性。