随着光纤通信系统中信号速率的提高和传输距离的增加,光纤的群速度色散、非线性效应,以及二者之间的相互作用,成为限制系统性能的重要因素。本论文针对此问题展开研究,利用理论分析、数值仿真和实验论证相结合的方法,重点研究了在直接检测和相干检测方式下,10 Gb/s及40 Gb/s长距离光纤传输系统中群速度色散和光纤非线性的补偿方案。取得以下主要研究成果:1、提出了一种对非归零码进行相位预调制,提高系统色散容限的方法。10 Gb/s实验和40 Gb/s仿真结果表明,采用时钟信号和数据相关信号对非归零码进行可调节的相位预调制,可增加信号的眼图开启度和接收灵敏度,将系统的色散容限提高1倍左右。该方法降低了系统对光信噪比和色散管理的要求,且由于相位预调制在发射端进行,调节方便,实施简单,便于系统升级。2、提出了一种相干光时域采样的新方法,与并行处理结构相结合,在基于数字信号处理的相干检测系统中对高速信号进行并行电色散补偿。实验实现了10 Gb/s差分相移键控(DPSK)信号的相干检测和并行电色散补偿,使模数转换器的采样速率从原来要求的20 Gsample/s降为10 Gsample/s。该方法可以解决信号传输速率高与采样、处理速率低之间的矛盾。3、提出了一种在40 Gb/s标准单模光纤传输系统中用终端色散补偿取代在线色散补偿的方案,提高系统抵抗光纤非线性效应的能力,并进行了实验和仿真验证。40 Gb/s实验结果表明,传输1500 km后,终端色散补偿方案在非线性区域的Q值比在线色散补偿方案提高约2 dB。该方案简化了链路设计,降低了铺设和维护成本,为40 Gb/s系统的色散管理提供了一种新途径。4、对差分编码/相干检测系统中的载波相位估计方法进行了改进,提高了相干检测系统抵抗带内非线性效应的能力。10 Gsymbol/s差分4相移键控(DQPSK)信号的仿真结果表明,由于相邻脉冲非线性相移的相关性,相干检测比差分检测对带内非线性效应更加敏感;通过改进载波相位估计的滤波算法,相干检测方式在非线性较大的区域达到了和差分检测相同的性能,并保持了在线性区域的灵敏度优势,整体性能得到提升。