随着超高清视频传输、云计算和人工智能等新服务的不断涌现,信息传输的带宽正在以爆炸式的速度持续增长。下一代光接入网络需要收发器最大化吞吐量并充分利用可用资源,同时确保以成本有效的方式与传统光接入网络相互共存,实现5G/6G的全方位通信。基于正交频分复用（OFDM）的光传输系统,具有高频谱效率、灵活的带宽分配以及对光纤色散的鲁棒性等优势受到人们的青睐,被视为实现超高速光接入网络最具潜力的候选技术之一。对于直接检测光OFDM系统,其频率响应通常会表现出由有限的设备带宽（例如数模转换器、电子驱动器和调制器等）以及光纤传输过程中的光纤色散引起的高频功率衰落特性,使得高频边缘的误码率（BER）性能急剧恶化,严重影响系统的传输性能。目前可以通过两种方法来改善通信性能并增加吞吐量。其一是采用有效的编码方案,这会带来一定的编码增益。其二是对星座图进行合适的设计和优化,这会带来一定的整形增益。本文基于直接检测光OFDM系统,对预编码方法进行研究,将其辅助于极化码以及星座整形方法,通过使用这些高效的数字信号处理（DSP）方法来缓解系统的高频衰落效应、抵抗系统的非线性效应、保证信号的传输质量以及提高系统的吞吐量,力求推动光接入网的进一步发展。本文的主要研究内容以及取得的创新性成果如下:第一、为了抵抗直接检测系统中的高频功率衰落效应,提出并实验验证了一种基于多带恒幅零自相关序列（MB-CAZAC）预编码的光OFDM系统传输方案,并采用128/64/32/16-正交幅度调制（QAM）格式来改善系统性能并增强网络灵活性。所有子带共享相同的预编码模块,节省了存储大型预编码矩阵的空间。与不使用预编码的方案相比,基于所提出的MB-CAZAC预编码方案可以降低系统的峰均功率比（PAPR）,均衡每个子带的信噪比（SNR）,以及改善每个子带的误码率（BER）,从而提高系统的整体性能。第二、为了提高系统容量并保证传输质量,提出了基于恒幅零自相关序列（CAZAC）预编码辅助的比特交织极化编码调制的正交频分复用（BIPCM-OFDM）方案,并在低成本的强度调制直接检测（IM-DD）系统中进行了实验验证。针对256-QAM的高阶调制格式,为了克服衰落效应对映射比特层信道之间的影响,比较了两种不同类型的交织器以优化系统性能,包括二次多项式置换（QPP）交织器和随机交织器。同时,为了在极化码构建过程中匹配精心设计的蒙特卡洛工作点,采用了CAZAC预编码来平衡子载波间不均匀的SNR。实验结果表明,与不使用预编码的BIPCM-OFDM信号相比,CAZAC预编码方案可以将系统的PAPR降低约2 d B。与采用QPP交织器的BIPCM-OFDM方案相比,随机交织器可以获得1.13 d B的Q因子改善。此外,与不使用BIPCM方案,仅使用CAZAC预编码以及仅使用随机交织器相比,所提方案可以分别实现4.82/2.46/1.78 d B的Q因子改善。第三、基于高效的256-QAM BIPCM方法,在直接检测系统中提出了一种利用一个OFDM发射机实现的双单边带OFDM（twin-SSB-OFDM）信号方案,来克服由光纤色散（CD）引起的功率衰减并延长传输距离。与需要两个OFDM发射机的生成方案相比,它具有较低的实现复杂度和较低的成本。结果显示,与不使用交织器的极化码调制OFDM和单纯的OFDM方案相比,所提方案可以分别实现4d B和5d B的Q因子改善。此外,所提方案可以增加系统的接收机灵敏度,同时改善系统对激光线宽的容忍度。第四、为了提升系统性能并提供灵活的速率适配,提出了采用预编码辅助的概率整形64QAM-OFDM（PS-64QAM-OFDM）方案,并在功率受限和带宽受限的IM-DD系统中进行了实验验证。由于此方案不用考虑收发器通过往返反馈获得的信道信息,与自适应比特、功率或熵加载方案相比,所提方案可以降低系统的成本与复杂度。并将CAZAC预编码在降低PAPR和增加归一化互信息（GMI）方面与正交循环变换（OCT）和离散傅里叶变换（DFT）预编码进行了比较。为了获得更好的精细粒度,在相同的信息率下与均匀分布的方案进行了对比。与均匀分布的64QAM-OFDM信号相比,当信息率为4.0/3.6/3.0比特/QAM符号时,PS-64QAM-OFDM信号可以分别提供1.04/0.94/0.64 d B的整形增益以及1.0/1.0/1.0 d B的接收机灵敏度增益。同时,仅通过调整概率分布,即可实现从32.66到43.55 Gb/s的净速率传输。此外,为进一步提高光接入网中的通信容量和接收机灵敏度,提出了基于CAZAC预编码的高阶PS-OFDM传输方案。由于在PS-OFDM中采用256-QAM,可以显著提高系统的频谱效率和整形增益。实验结果表明,与均匀分布的方案相比,所提方案可以实现2.45 Gbit/s/λ的容量增加。同时,当信息率为6.0比特/QAM符号时,所提方案可以在接收机灵敏度和可达信息量方面分别实现2.0 d B的性能提升。第五、为了有效地克服系统非线性效应,提出了基于预编码的几何整形OFDM（GS-OFDM）方案,并在成本有效的IM-DD系统中进行了实验验证。同时,在改善PAPR的性能方面,探究了包括CAZAC,DFT,OCT等在内的六种预编码方法。另外,为了探究在不同的单模光纤传输距离（包括20/50/80公里）下的系统性能,在互信息（MI）方面将几何整形方案与均匀分布的QAM调制方案进行了比较。在信息率为4.5比特/QAM符号下,经过20公里的光纤传输后,所提的两种GS方案与均匀分布的64QAM相比可以分别实现0.24/0.61 d B的接收机灵敏度增益。在经过50公里的光纤传输之后,所提的两种GS方案与均匀分布的64QAM相比可以分别实现0.32/0.74 d B的接收机灵敏度增益。而在经过80公里的光纤传输之后,所提的两种GS方案与均匀分布的64QAM相比可以分别实现0.36/0.87 d B的接收机灵敏度增益。随着光纤距离的增加,光纤的非线性效应逐渐增强,整形增益也逐渐变大。实验结果表明所提出的预编码辅助GS-OFDM方案在抵抗非线性效应方面具有很强的鲁棒性。