在万物互联的大背景下,各种新型互联网业务飞速发展,导致对网络带宽的需求急剧上升。光网络既要对传输性能进行优化来保证大带宽、低时延以及高可靠性,又要具备灵活、智能的运行管理来适应多种多样的动态业务需求。因此,根据网络状况和业务需求优化配置网络资源的高速大容量灵活光网络应运而生。高速大容量灵活光网络的底层关键支撑技术为灵活高速高阶调制相干光传输技术,而编码调制又是高速高阶相干光传输的关键使能技术之一。因此,高性能、灵活可配的编码调制技术成为光通信领域的研究热点之一。本论文主要面向支持灵活高速高阶相干光传输的码率自适应编码调制技术展开研究,主要研究工作如下。(1)高增益二进制准循环低密度奇偶校验(Binary Quasi-cyclic Low-density Parity check,B-QC-LDPC)码构造方法的研究针对在高速高阶相干光传输系统中颇具应用前景的LDPC码的Tanner图短环导致和积译码算法(Sum Product Algorithm,SPA)性能下降的问题,提出了一种任意度分布遮蔽算法,联合任意双子集构造法来构造B-QC-LDPC码,该构造法可构造任意给定度分布条件下最小环长更长和/或短环数量更少的B-QC-LDPC码。且在二进制相移键控调制加性高斯白噪声信道条件下,与近期报道的同类型构造方法相比,采用所提构码方法构造的B-QC-LDPC码具有更好的性能,在误码字率为1E-7量级时没有出现错误平层,可获得0.15～0.3dB的编码增益改善。(2)适用于变速率的低复杂度概率整形方案研究针对目前可用于变速率的概率整形方案复杂度较高的问题,设计了一种适用于 M 阶正交振幅调制(Quadrature Amplitude Modulation,QAM)的低复杂度概率整形方案。该方案在M阶QAM格式下可实现信息速率、频谱效率和可达距离的灵活折中。与参考方案相比,所设计方案在相同的频谱效率和信息速率可变范围下,至少降低39%的复杂度。在28Gbaud偏振复用16QAM相干光传输系统光背靠背下的仿真结果表明:所设计方案通过添加33.3%的冗余,在误比特率(Bit Error Rate,BER)为3.8E-3量时获得了 3.2dB的增益;通过添加60%的冗余,在BER为1E-5量级时获得了 5dB的整形增益;通过添加14.3%的冗余,在BER为1E-4时带来了至少1.2dB的整形增益提升。(3)速率适应编码调制系统方案的设计针对在传统光网络中应用的编码调制结构不易改变码率,不能很好满足灵活光网络的传输需求的问题,设计了一种基于比特交织编码调制(Bit-interleaved Coded Modulation,BICM)结构的速率适应编码调制方案。该方案利用分布匹配器进行概率整形实现传输速率的细颗粒度调整,同时引入反交织器和比特交织器联合保护概率整形的分布。在发射端和接收端采用并行的编译码结构,减少系统的时延,较适用于灵活高速高阶相干光传输系统。