随着人工智能、云计算等技术的兴起,人们对光纤通信系统的通信容量、带宽和数据传输速率的要求越来越高,对光通信网络提出了更高的要求,目前的技术无法满足日益增长的需求。编码调制技术是一种在给定信道中对编码和调制联合设计和优化的方案,是实现信息理论香农极限的关键技术之一。星座成形技术可以以更快的速率传输数据,而且具有很大的灵活性和更高的频谱效率。现有的调制格式难以满足需求,正由于星座成形具备这些优点,将其应用于高速光通信系统中可以实现比传统调制格式更好的性能,使得系统容量更加接近于香农极限。同时,信道编码是实现可靠通信的有效手段。将星座成形同网格编码调制(TCM)结合,可以提高频谱效率,并且具有良好的纠错能力和简单的结构,提高系统的性能。正交频分复用(OFDM)技术由于具有抗多径干扰和低复杂度等优势,广泛应用于4G/LTE系统。但是由于峰均功率比较高,对同步错误敏感和带外泄露较高等缺点,决定了它不是5G通信系统中的最佳选择。广义频分复用技术(GFDM)作为OFDM的替代方案,解决了 OFDM固有的缺陷,广泛应用于5G网络中。因此,星座成形技术成为了光纤通信系统中的研究热点。本论文在研究高速光通信系统中编码调制理论的基础上,重点研究了基于费诺编码的概率成形方案,基于费诺编码的多维概率成形方案、基于网格编码调制的多维概率成形方案以及基于几何成形和LDPC的广义频分复用方案,以满足系统容量更大、传输速率更高的要求。论文的主要研究工作和创新点如下:1.基于费诺编码的概率成形方案在研究现有概率成形方案和费诺编码的基础上,提出了基于费诺编码的概率成形方案。该方案仿真研究了概率成形信号在AWGN信道中的误比特性能,在频谱效率相等的条件下,与传统M-PAM和M-QAM作对比。研究结果表明,该方案与8PAM和8QAM方案相比,在BER为10-5时,分别实现了 2.3dB和1.2dB的增益。2.基于费诺编码的三维概率成形方案在研究传统概率成形技术的基础上,提出了一种基于费诺编码的三维概率成形方案。该方案将概率成形与多维调制方案相结合,实现了维度扩展,使得星座点之间的最小欧氏距离变大,相同的功率可以传输更多星座点,从而获得更好的性能和更大的传输效率。仿真在传输功率和频谱效率相等的条件下,对二维概率成形信号和三维概率成形信号的误比特性能进行研究和分析对比。研究结果表明,在BER=10-5时,该方案与基于费诺编码的二维概率成形方案相比,分别可以获得2.6dB的增益。与三维8QAM调制方案相比,可以获得3.7dB的增益。3.基于网格编码调制的三维概率成形方案在研究二维概率成形和网格编码调制方案的基础上,提出了一种基于网格编码调制的三维概率成形方案。该方案采用费诺编码的方式得到待传输信号,对星座图的维度进行升级,将二维星座平面扩展到三维星座空间中,并与网格编码调制方案相结合,将信号放置于三维星座空间中进行研究。仿真研究了基于网格编码调制的三维概率成形信号的误比特性能,并与二维空间中基于网格编码调制的8QAM方案、二维空间中基于网格编码调制的9QAM方案以及三维空间中基于网格编码调制的8QAM方案作出对比和性能分析。研究结果表明,三维9QAM-TCM方案与二维9QAM-TCM方案相比,在BER为10-4时,具有1.2dB的编码增益;三维8QAM-TCM方案在BER为10-4时比传统的二维8QAM-TCM编码增益减小了 0.8dB;二维9QAM-TCM系统与二维8QAM-TCM相比具有0.9dB的编码增益。4.基于几何成形和LDPC的广义频分复用方案在研究几何成形和低密度奇偶校验码的基础上,提出了基于几何成形和LDPC的广义频分复用方案。该方案仿真研究了基于GS-16QAM-LDPC的广义频分复用系统的误码性能,将星座成形技术应用于GFDM系统,并与低密度奇偶校验码LDPC相结合,改善了GFDM由于子载波间非正交性造成的子载波间干扰严重的问题。该方案研究了广义频分复用和正交频分复用系统,采用几何成形16QAM和LDPC改善系统性能。通过仿真对OFDM和GFDM的频谱性能进行了对比分析,从频谱图中可以明显地看出GFDM信号旁瓣衰减快。并与基于常规16QAM的GFDM方案和OFDM方案作对比,在不同信噪比下对误比特性能作出对比分析。仿真结果表明,在BER为10-5时,相比于基于常规16QAM的GFDM方案,基于LDPC-GS-16QAM的GFDM方案,实现了 15.3dB的编码增益。由此可以得出结论,几何成形方案和LDPC可以较好地抑制GFDM信号的子载波间干扰。