随着光传输系统中信号传输速率的提高和传输距离的增加,光传输链路中色度色散、偏振模色散以及光纤非线性效应等因素严重影响传输系统的性能。本论文基于这样的考虑,对高速长距离光纤传输系统中的信号进行处理。利用OFDM技术频谱利用率高、抗色散能力强和传输容量大等优势,把OFDM技术与无线系统结合形成光载无线(ROF)通信系统,实现光纤跟无线无缝结合,但相对无线传输,ROF系统的传输速率和传输距离提高了很多。与直接检测相比,相干检测系统的优势在于具有更高的接收灵敏度和频谱利用率,可以提高中继传输距离。但在相干检测传输系统中,两个激光器的频率不同步造成接收信号星座图旋转和偏移,而且激光器线宽引起的相位噪声对传输系统都会造成严重影响。因此,为了提高光纤传输系统的性能,本文对光纤传输系统中影响系统性能的若干问题进入了深入探讨和研究,理论分析和实验验证了提高光纤传输系统性能的几个关键技术。对以后的光纤传输系统的发展具有理论和实用价值。本论文主要工作和取得的成果为如下几个部分：第一、针对高PAPR的OOFDM信号对光传输系统中电器件、光器件以及光纤非线性效应的影响,提出了两个降低OOFDM信号PAPR方法。一个是Hadamard转换结合压扩变换技术,另一个是FE-Nyquist脉冲成型技术。Hadamard转换结合压扩变换技术降低OOFDM信号PAPR技术,主要是利用了Hadamard是非正弦正交变换,转换过程中没有复杂的乘法运算,而且可以改变信号的非周期自相关性。而压扩转换技术主要对OFDM信号中小幅度信号进行放大,而对大幅度信号进行压缩,从而降低OFDM信号的PAPR。FE-Nyquist脉冲成型技术降低OOFDM信号PAPR主要是利用FE-Nyquist矩阵具有正交性,OFDM信号与FE-Nyquist矩阵乘积后的数据序列具有一定的相关性,从而使OFDM信号各子载波之间具有一定的相关性,这样降低OFDM信号相位相同情况出现的概率,从而降低OFDM信号的PAPR。第二、使用LDPC编码级联TCM编码调制技术提高OFDM-ROF系统性能。讲述了ROF系统的优势和各部分的功能。理论分析了LDPC编码和TCM编码调制技术的编译码原理和结构,利用TCM不降低信号频带利用率和不降低功率利用率,还能获得系统编码增益等优势,可以解决系统频带利用率不足问题。实验搭建了60GHz光载毫米波系统。实验结果验证了LDPC-TCM编码调制技术能很好的提高OFDM-ROF系统性能。第三、针对传统均衡技术把均衡部分和译码部分分离带来的不足,使用Turbo迭代均衡技术,该技术使Turbo均衡中的均衡器具有处理输入先验信息与输出后验信息的功能,Turbo中的均衡器与Turbo译码器进行信息交换,降低Turbo编码技术的算法复杂度。为了减少偏振复用系统中偏振模色散和偏振串扰对传输系统的干扰影响和均衡技术算法复杂度,本文提出基于MIMO-CMA迭代均衡技术,该技术能有效降低偏振模色散和偏振串扰的影响,通过实验验证了MIMO-CMA迭代均衡技术能提高偏振复用CO-OFDM系统性能,而且该均衡技术的算法复杂度较低。第四、针对相干检测系统中由于本振光与信号光频率不同步和激光器线宽带来的信号相位旋转和相位噪声等影响,本文提出了基于八阶统计量盲相位估计结合最大似然相位估计方法来提高单载波系统中信号相位估计精度,减少相位估计算法复杂度。理论分析了八阶统计盲相位估计和最大似然相位估计方法原理,以及各自的优缺点。实验验证了该级联相位估计方法能提高单载波系统中信号相位估计精度和减少相位估计计算量,说明该方法能有效降低激光器线宽对信号的影响。