随着互联网对通信带宽需求的急速增长,高速大容量的相干光通信系统得到了广泛的应用。编码调制技术通过对编码和调制进行联合设计,在不扩展频谱占用的条件下提高了系统容量,也受到了越来越多的关注。概率整形与编码调制联合,可以在不影响编码调制性能的前提下,进一步扩大OSNR容限,增大信号传输距离,同时还可以细颗粒度地改变系统传输速率。但是目前已报道的概率整形方案存在效率低、灵活性差、实现复杂度高等不足。本论文主要对相干光传输编码调制系统中的概率整形编码方案以及概率整形与编码调制结合方案进行了深入研究,主要研究工作如下。第一,针对概率整形编码效率较低的问题,提出了一种“高增益概率整形编码调制方案”。方案中的高增益概率整形编码方案使用了新型符号映射方式,在比特级别对输入信息进行分布匹配。同时,使用了输入分布保持的比特交织方案,将所提概率整形方案与传统的BICM均匀分布编码调制方案结合,进一步扩大OSNR容限。根据理论分析,高增益概率整形编码调制方案使用6.7%冗余,高效率地将星座点的最小平均欧氏距离扩大14%。光传输仿真结果表明,在平均发送功率相同且码率相同的条件下,译码后误码率为1E-5时,所提高增益概率整形方案可带来0.28dB的OSNR编码增益。光纤跨段仿真结果中,互信息为3.2bits/symbol时,所提高增益概率整形方案传输距离可增加8.2%,相比于已报导的概率整形方案,单位冗余带来的距离增益增加了39%。第二,针对基于调制格式变化的速率自适应方案的弹性光网络中,硬件实现复杂度高和信息速率调节颗粒度较大的缺陷,我们提出了一种“速率自适应概率整形编码调制方案”。该方案通过“取反-标记”的方法,改变了不同功率等级星座点的发送概率,实现了对信息输入分布的匹配。同时,由于不同冗余量可以带来不同程度的分布匹配效果,该方案通过引入0%至20%不等的冗余量,实现了对信息速率从0%到16.7%的调整,以较低的硬件复杂度实现了信道容量的最大化使用的效果。在使用冗余量为4%至20%之间时,调制颗粒度为系统波特率的0.7%至6.8%。光传输仿真结果表明,在使用了20%冗余的情况下,译码后误码率为1E-5时,速率自适应概率整形编码调制方案后较未使用概率整形的传统编码调制方案,可获得最高1.6dB的OSNR增益。第三,为了验证所提的“高增益概率整形编码调制方案”和“速率自适应概率整形编码调制方案”的可行性,我们搭建离线偏振复用相干光传输实验系统,分别对所提方案进行了实验验证。实验调制格式为PM-16QAM,波特率为12GBaud。同时,配合通过统计误符号率的统计方法,可以降低OSNR测量误差对实验结果的影响。在“高增益概率整形编码调制方案”实验中,当译码后误码率为1E-4时,相比于总冗余相同的传统编码调制方案,高增益概率整形编码调制方案获得了额外的约0.15dB的OSNR增益;在“速率自适应概率整形编码调制方案”实验中,概率整形编码冗余为20%、7.7%和2.2%时,码率分别为0.694,0.774和0.815,相比于不使用概率整形码率为0.833的均匀分布编码调制方案,当译码后误码率为1E-5时,分别获得了 1.7dB、1.3dB和0.6dB的OSNR增益。实验结果验证了两种方案的可行性,两种方案在实验条件下,均达到了较好的概率整形增益效果。