多元化的宽带互联网通信业务,如高清视频点播(HD)、视频通话、远程医疗、电子商务、在线游戏、虚拟现实(VR)、无人驾驶等,已经完全融入大众的日常生活。人们对数据传输速率的需求呈爆发性增长。这些不同网络环境中的数据通信的需求增长将推动整个光通信系统基础的物理层的带宽需求呈爆炸性增长。由于高速率的光纤通信系统存在接收光信噪比(OSNR)和光纤非线性效应的限制。近年来,可在有限光信噪比条件下,提高信道容量并且增加信号光纤非线性效应容忍度的先进的高阶QAM调制格式得到越来越多的研究关注。本学位论文首先针对克服光纤非线性效应的重要技术进行探讨和分析,大致内容和新颖点如下:1.主要分析目前OFDM光传输网络存在较高的峰均比(PAPR)问题,探讨了一种类似于单载波调制技术的离散傅里叶扩频(DFT-spread)技术。阐述了该技术是基本原理和系统框架,同时分析了该技术方案的计算复杂度,相比于传统的OFDM光传输系统,只是增加了少量的加乘运算;系统增加的计算量相比于节省的发射光功率可以忽略为零;最后,建立了相关的VPI仿真实验对理论推导进行验证,得到的结果与理论分析相吻合。2.光纤传输系统由于受到高PAPR而产生的光纤非线性效应会抑制着系统的误码性能。本章节提出了基于麦克斯韦-玻尔兹曼的一种概率整形(PS)技术,并对此展开研究分析,从概率整形技术的基本原理、算法和实验探索概率整形对光纤传输系统的影响。该方案可以将均匀分布的QAM信号“整形”为近高斯分布,在提高了频谱效率的同时,降低了信号的PAPR。实验验证了150Gbit/s DFT扩频概率整形光OFDM系统传输20千米的BER性能。3.基于概率整形技术的高速光通信系统研究成果大部分都源于经典的伯努利-分布匹配算法。除算法本身将引入额外的概率映射开销外,其与前向纠错整合的LDPC编码(概率整形映射之后)还需要引入附加的符号位开销,由此造成系统开销的剧增且消耗了有效带宽资源。针对这一科学问题。本论文的最后一个重要研究内容是基于LDPC编码的“多对一”映射概率整形技术研究,在不改变传统光通信系统收发机中编译码结构的条件下,使得系统可实现速率可以更为接近香农极限。