在线教育、实时视频等应用和各类网络设备层见叠出,IP需求量水涨船高,越来越高的要求催使了高速光通信中各类信号处理技术和信道处理技术的发展。如何在提高通信容量的同时控制甚至降低信号出现差错的可能性是目前及未来相当长一段时间内亟需研究的课题。与4G中的正交频分复用相比,5G的广义频分复用（Generalized Frequency Division Multiplexing,GFDM）因具有带外（Out-of-Band,OOB）泄露更低等优点从而成为通信发展的关键候选技术,而其抗干扰能力和信号传输准确性还有待提升。本文研究GFDM调制解调信号的关键原理。在此基础上,为降低误码率和提升广义互信息,重点研究了基于概率整形（Probabilistic Shaping,PS）和低密度奇偶校验（Low-density Parity-check,LDPC）编码调制的GFDM方案、基于信号成对优化整形（POPS）的GFDM方案,和针对光纤接收端GFDM和PS-GFDM的信号聚类方案。论文的主要创新点及工作内容如下:（1）提出基于PS和LDPC编码的广义频分复用方案。该方案对信号进行PS并设计针对PS-16QAM的符号映射方案,接着联合LDPC编码提出PS-LDPC-GFDM方案,对GFDM所调制信号进行预处理,解决了 GFDM技术由于非正交性带来误码性能低的问题。仿真研究了在直调直检光通信系统中不同光信噪比下的传输性能,研究结果表明所提方案在抗干扰能力和功率方面均有优势,与传统GFDM方案相比,本方案取得约3dB/（rad/sample）的功率节省,传输距离为40km时,在误码率为3.8e-3的情况下具有高达4.97dB的光信噪比增益。（2）提出基于成对优化整形POPS的广义频分复用方案。该方案通过研究针对PS信号的成对优化算法对GFDM调制信号进行改进,突破了传统固定方形QAM星座为GFDM调制信号带来的性能限制,并在一定程度上降低了 GFDM的OOB辐射。仿真研究了相干光通信中不同传输距离和不同光信噪比条件下的性能,结果表明所提POPS-GFDM方案与原有方案相比OOB泄露降低约4dBm,在GMI值为3.2bits/symbol时,该方案与传统GFDM方案相比增加了约75km的传输距离。（3）提出基于光纤传输接收端GFDM和PS-GFDM信号的聚类方案。该方案研究了 K-means和GMM算法的聚类性能,提出针对PS信号的起点优化聚类方案,以及针对光纤接收端GFDM信号和PS-GFDM信号聚类的方案。一定程度上抵抗了由于光纤Kerr效应导致信号非线性的误码率问题。仿真研究了不同入纤功率条件下的误码性能,结果表明与非聚类情况相比,经接收聚类的均匀GFDM方案和PS-GFDM方案的误码率性能均有所提升。在采用起点优化聚类时的PS-GFDM 比普通聚类获得更好的性能。