光纤通信作为一种面向未来的关键技术,具有远距离传输、超高容量的独特优势。互联网的大部分数据都必须通过光纤网络传输。近些年,随着网络在线视频、直播、云盘下载等新兴大数据量业务的兴起和普及,光纤通信作为信息网络的基础,因其大容量的优势,将进一步在信息领域发挥至关重要的作用。光纤通信系统在信号传输过程中会受到噪声、色散、偏振模色散等各种因素的干扰。在抵御信道干扰的众多技术中最直接有效的就是信道编码技术,其中前向纠错（FEC）技术因其无需反馈信道、延时小、实时性好等优点,得到了人们广泛关注。如何得到高性能、低复杂度的FEC码并将其应用到现有的光纤通信技术中,具有重大的研究价值。本论文围绕中短距离光纤通信系统中广泛应用的信道编码、直调直检、高阶调制和多载波技术,提出了多种中短距光纤通信系统方案,包括基于速率自适应里德-所罗门（RS）编码的光载无线通信（RoF）系统,基于分层低密度奇偶校验码（LDPC）的非对称剪裁光单载波频分复用系统,以及基于LDPC码的广义频分复用（GFDM）直调直检（IM/DD）光通信系统,并对FEC编码结合多载波技术在低成本、低复杂度的IM/DD系统和光无线通信（OWC）系统中进行了创新性应用研究。本论文所做的主要研究工作和创新点如下:1.基于速率自适应里德-所罗门编码的光载无线通信系统本论文基于里德-所罗门编码和包络检测技术的研究,提出了一种速率自适应RS编码的单载波16QAM-RoF系统方案。该方案通过收端的信息反馈利用自适应RS编码技术灵活调整系统的编码效率,以期达到接收端误码率要求的前提下,拥有更高的信息速率和接收机灵敏度。论文实验实现了经过自适应RS编码和预编码技术的60 GHz 16QAM矢量信号在20公里标准单模光纤和2米无线距离上的传输。研究结果表明,所提方案可以实现系统的简单化、低成本、高谱效率以及增强毫米波信号传输时对色散、相位噪声等干扰的鲁棒性,并且能够实现RoF系统的超低误码。2.基于分层低密度奇偶校验码的分层/增强型非对称剪裁光单载波频分复用（L/E-ACO-SCFDM）系统本论文基于多种码率准循环LDPC码的编译码方法和非对称剪裁光单载波频分复用（ACO-SCFDM）系统的研究,提出了一种基于分层LDPC码的L/E-ACO-SCFDM系统方案。该方案针对L/E-ACO-SCFDM系统低层产生的非线性剪裁噪声会叠加影响高层信号的特点,给低层分配高码率LDPC编码器,较高层分配低码率LDPC编码器,编码模块采用校验矩阵快速编码和置信传播（BP）译码方法。论文利用Matlab进行信道建模,仿真分析了所提方案在高斯加性白噪声信道（AWGN）和OWC信道传输的优良性能,结果表明系统既拥有L/E-ACO-SCFDM系统的高功率效率、高频谱效率、低PAPR和抗发射机非线性剪裁和高频损伤性能,同时也具备优良的误码率性能和低运算复杂度。3.基于低密度奇偶校验编码的广义频分复用直调直检通信系统论文基于先进多载波调制中的GFDM技术,提出了一种LDPC编码级联高阶QAM调制格式下的GFDM光直调直检系统方案。该方案可以实现更灵活、更先进的多载波调制,拥有高频谱效率和优异的误码率性能。实验实现了基于LDPC编码的16QAM-GFDM系统在短距离标准单模光纤链路上的传输,验证了该方案在短距光接入网中的可行性和优异性能,并且比较了 Turbo码和LDPC码在此方案中的适用性。论文还提出了级联网格编码调制的LCO-GFDM系统方案,可以在保证系统高频谱效率的同时兼有一定的纠错性能。并且仿真研究了多波段16QAM调制的LCO-GFDM光IM/DD系统,与LCO-OFDM技术进行了比较,研究结果表明多波段LCO-GFDM系统方案拥有更低的带外功率,以及更优的误码率性能,证明所提方案在未来中短距离光纤通信系统中拥有很好的应用前景。