由于全球互联网流量的急速增长,网络容量急需大幅提升。编码调制技术通过将编码与调制进行联合设计的方法,使得系统在达到高频谱效率的同时,也可保证系统的可靠传输,这使得编码调制技术成为继续提升光通信系统容量的关键技术之一,近期获得了学术界的广泛研究。编码调制技术,首先,采用高阶调制技术提升系统的频谱效率;其次,引入前向纠错编码技术保证系统的可靠性;同时,将编码与调制进行联合设计,可以保证在不牺牲频谱效率和功率效率的前提下,提高系统的编码增益,改善了 “有效性”与“可靠性”的矛盾,便于提升系统容量。编码调制技术对大容量长距离光通信系统的发展与建设十分重要。本论文围绕适用于光传输系统的高阶调制编码调制技术进行深入研究,主要研究工作如下。1.针对高速光传输系统的实际应用需求,设计了一种高阶调制多级编码调制系统实现方案。主要包括系统基本结构的设计和子信道分量码码率的设计等。同时,搭建了基于MATLAB仿真工具的十六进制正交幅度调制(16 Quadrature Amplitude Modulation,16QAM)多级编码调制系统仿真平台,对本文所提设计方案进行仿真验证和结果分析。仿真结果显示,多级编码调制系统的编码增益主要取决于分量码码率的设计是否合理、分量码码字性能是否满足需求,以及接收端译码结构是否保留了子信道间的信息量。2.多级编码调制技术在常用映射方案下会出现个别子信道的信道容量逼近于’1’,导致分量码码字难以构造,从而使系统总体性能远低于理论值。针对这一问题,提出了一种均等子信道容量映射方案,使得多级编码调制系统采用该映射方案时,各级子信道可以采用相同的码字做分量码,且码率控制在常用开销范围内,降低了分量码构造难度和实现复杂度。同时,通过16QAM多级编码调制系统仿真平台仿真验证了该方案的合理性和有效性,能够在不影响系统性能的前提下,降低系统设计难度和实现复杂度。此外,针对多级编码调制技术接收端多阶译码算法复杂度高、译码时延大的问题,提出了一种优化多阶译码结构的方法,去除了多阶译码结构中不必要的辅助分支,在不损失系统性能的前提下,降低系统译码端时延和实现复杂度。同时,通过16QAM多级编码调制系统仿真平台仿真验证了该方法的合理性和有效性,可以在不影响系统性能的情况下,降低系统实现复杂度和译码端时延。3.由于实际系统均为发送功率受限,所以输入信号先验概率的最优分布并非理论研究中假设的等概分布,这将导致实际功率受限系统获得的系统容量小于其能够达到的最大信道容量。本文中提出了一种适用于信号发送功率受限系统的概率整形方案,通过该方案可以将系统输入信号的先验概率分布“整形”为高斯分布,提升实际系统的容量。同时,通过16QAM多级编码调制系统仿真平台仿真验证了该方案的合理性和有效性,通过加入冗余的方法使发送信号的先验概率分布为高斯分布,提高系统的编码增益。