随着互联网产业的飞速发展,通信网络逐渐进入到流量大爆炸的时代。大数据、云计算、在线教育、网络直播等各种各样的互联网应用对网络带宽的需求在快速增长,这些互联网应用带来的数据洪流正是由遍布全球、互联互通的光纤通信网络承载着。由此,数据流量快速增长和光网络覆盖范围急速扩张的态势对高速光网络的传输带宽和无中继传输距离等性能提出了更高的要求。多维编码调制作为一种能够有效提高系统整体性能的传输技术,可以进一步提高系统的传输容量和传输距离,已成为领域内的研究热点。本论文研究了网格编码调制技术和概率整形技术的关键原理。在此基础上,重点研究了高功率效率的多维网格编码调制方案、能提升信号抗干扰能力和系统传输容量的基于网格编码调制的概率整形方案和多维调制概率整形方案以及适用于OFDM多模光纤系统的自适应网格编码调制方案,论文的主要工作内容和创新点如下:(1)提出了一种高功率效率的四维网格编码调制偏振转换8PSK方案,并仿真研究了该方案在不同信噪比条件下的传输性能。研究结果表明该方案继承了传统偏振转换QPSK方案的高功率效率特点,并具有更强的抗干扰能力。在误码率为1×10-3时,与传统偏振转换QPSK方案相比,该方案具有0.6dB的信噪比增益,有效地提升了系统的误码率性能。(2)提出了一种基于二维网格编码调制的概率整形方案,并实验研究了 2D-TCM-PS-16QAM在不同光信噪比、不同信息熵条件下的传输性能。实验结果表明,所提方案相较传统二维网格编码调制,具有灵活的信息熵,并实现了整形编码增益以及明显的性能提升。在误码率为1×10-3时,2D-TCM-PS-16QAM(H=2.7、2.8、2.9bits/symbol)相比较传统2D-TCM-16QAM,分别获得了 1.8、1.2、0.9dB的光信噪比增益。(3)提出了一种基于二维网格编码调制的多维调制概率整形方案,并仿真研究了该方案在不同调制格式、不同信噪比和不同信息熵条件下的传输性能。研究结果表明该方案相比基于二维网格编码调制的概率整形方案和传统二维网格编码调制方案都具有明显的性能提升,特别对于较高阶的调制格式,整体性能提升幅度更大。在误码率为1×10-3时,2D-TCM-64QAM-PS-8QAM(H=4.8bits/symbol)与 2D-TCM-PS-64QAM(H=4.8bits/symbol)比较,实现了 3.9dB 的信噪比增益,2D-TCM-64/128QAM-PS-8/12QAM(H=4.8、5.8bits/symbol)分别与传统的2D-TCM-64/128QAM相比,分别得到5.4dB和7.4dB的信噪比增益。(4)提出了一种基于多维网格编码调制的概率整形方案,并仿真研究了该方案在不同信噪比和不同信息熵条件下的传输性能。研究结果表明所提方案相较传统多维网格编码调制以及基于二维网格编码调制的概率整形方案具有明显的性能提升和频谱效率改善。与传统4D-TCM-16QAM 相比较,4D-TCM-PS-16QAM(H=6.8/6.9bits/symbol)在误码率为1×10-3的条件下,分别具有0.8dB和0.5dB的信噪比增益。在获取相同的概率整形增益时,4D-TCM-PS-16QAM的基础星座2D-16QAM 比 2D-TCM-PS-16QAM 的频谱效率高 0.5bit/s/Hz。(5)提出了一种OFDM多模光纤系统的自适应网格编码调制方案,并仿真研究了该方案在不同信噪比下的传输性能。研究结果表明所提方案相比较传统非自适应网格编码调制方案,误码率性能更加优异,具有明显的性能提升。在系统整体误码率达到1×10-3时,ATCM-MQAM-OFDM 相较 Non-ATCM-MQAM-OFDM 具有 1.3dB 的信噪比增益,且随着信噪比的增大,性能提升更加明显。