随着宽带中国的推进,光纤到户已经成为首要的上网选择。宽带光接入网作为现有通信网络体系架构中不可或缺的一部分,承接着用户与数据中心之间的信息交换。而无源光网络(PON)作为经典的宽带光接入网络,在市场上已经相当成熟。近年来,面对快速成长的5G通信技术,宽带光接入网络系统不仅需要实现高速、大容量的信息传输,还需要实时灵活地满足多用户的多种需求。根据实际的需求,概论整形技术是一种高阶编码调制的优化技术。因此,本论文深入研究了概率整形技术在宽带光接入网中的应用。本论文围绕概率整形编码调制技术在宽带光接入的关键技术展开研究,重点研究了基于正交幅度调制技术的概率整形实现方法以及概率整形在宽带光接入网中的灵活应用。结合5G多载波调制方法扩大传输容量,进一步提升系统的传输性能。通过无载波幅度/相位(CAP)调制技术实现了概率整形信号在强度调制/直接检测(IM/DD)短距离光纤通信系统中的传输。证明了概率整形技术可用于未来的宽带光接入网中,实现低误码率、低功率信号传输。本论文的主要工作和创新点如下:1)提出了一种多概率整形分布方案,研究了常数组成分布匹配器(CCDM)概率整形与滤波器组多载波技术联合调制方法;2)提出了一种新型多级星座压缩调制方案,可用于广义频分复用无源光网络系统中。星座压缩调制方法基于固定符号级标签概率整形方法,适用于低阶信号的概率整形以及大容量点对点的传输;3)提出了一种基于CCDM概率整形和多级星座压缩调制的联合概率整形方法。在一个系统中灵活使用两种不同的概率整形方案,既可以实现大容量信息的点对点传输,也可以实现多用户的灵活性需求。