随着通信系统中信息量的剧增，基于强度调制的波分复用系统将受到有限的传输窗口、色度色散和偏振模色散等的限制。而相干光通信系统使用多进制调制格式，能够提高频谱效率和增加色散容限，最终达到高速、大容量传输的目的。相干光通信系统的性能将受到色散，非线性效应以及相位噪声等的影响，其中由色散引入的信号间干扰最为严重。本文从调制格式提高色散容限、在线光学补偿色散、接收端电学均衡色散等三个方面分析相干光通信系统中的色散特性，其主要工作如下：使用OptiSystem仿真软件分析了相干光通信系统发射端不同调制格式的频谱效率和色散容限。研究结果表明，除调制方式（如相移键控，频移键控，幅移键控等）外，脉冲形状对系统的色散容限也有很大的影响。首次提出基于半导体光放大器的脉冲形状可调的主动锁模激光器，详细分析了各个参数对脉冲质量的影响。该激光器采用光纤环形腔结构，能产生波长范围、占空比、频谱宽度可调的高重频光学矩形脉冲，具有十分广泛的应用前景。分析了强度调制-直接探测系统中的色散补偿方法，以及目前常用的在线补偿方案在相干光通信系统中的适用性。通过仿真比较了负色散光纤和啁啾光纤光栅两种在线色散补偿方案。结果表明，啁啾光纤光栅补偿效果不如负色散光纤。进一步用传输矩阵法数值模拟分析其原因，发现是因为啁啾光纤光栅的相位敏感性不适合补偿相干光通信系统色散。设计基于最小均方值算法的自适应数字滤波器。通过OptiSystem和MATLAB联合仿真，分析数字滤波器补偿OOK，DPSK和BPSK调制格式色散的效果以及各参数对补偿结果的影响。设计25阶滤波器成功补偿40Gbit/s NRZ-BPSK信号传输120km后的色散和偏振模色散，误码率0.0036。