相干光通信集成了偏振复用技术、高阶调制技术、相干检测技术、数字信号处理技术，具有传输容量大、中继距离远、选择性好、灵敏度高、频谱效率高等优点，具有良好的应用场景。由于激光器发出的光信号包含不同的频率成分，不同频率成分的光信号经光纤传输后不能同时到达接收端而引起色散，色散不产生新的频率成分，属于线性损伤。光纤中存在线性损伤和非线性损伤，是制约相干光通信长距离、大容量、高速率发展的主要因素。线性和非线性损伤引起信号波形发生畸变，影响接收端的相干解调和阈值判决，严重时会导致频谱混叠和码间串扰，进而影响通信质量。由此可见，采用数字信号处理技术补偿光纤中的线性损伤和非线性损伤具有重要意义。本文概要介绍了相干光通信系统的基本原理，主要研究了相干光通信系统时域色散补偿FIR(Finite-length Impulse Response)滤波器的设计，并提出了四种色散补偿FIR滤波器，分别理论上论述了FIR滤波器的设计方案，并分别在全频带和窄频带进行仿真验证。本文的主要内容包括：
　　1、提出了一种基于随机梯度下降法的SGD-FIR滤波器，该滤波器具有收敛速度快，计算量低，可用于相干光接收机的FIR滤波器。在基带多速率相干光通信系统的传输模型中，使用随机梯度下降(Stochastic Gradient Descent)法从反方向更新滤波器的抽头权值h(n)，当均方误差收敛时把权值作为滤波器的抽头系数,本方法设计的滤波器在全频带具有较好的滤波效果，较低的误码率。为了减小随机梯度下降法收敛时存在的波动，提出了一种基于变步长随机梯度下降法的VSGD-FIR滤波器，改进后的VSGD-FIR滤波器在全频带时滤波效果优于FIR和SGD-FIR，利用平方根升余弦SRRC匹配滤波后，把基带信号的有效带宽限制在窄频带内，此时滤波器的抽头数目更少，滤波效果更优。
　　2、提出了一种新型的用于相干光接收机的色散补偿MBGD-FIR滤波器。利用小批量梯度下降法(Mini-Batch Gradient Descent)，每次使用全体样本数的百分之一更新梯度，更新滤波器的抽头权值h(n)，计算均方误差，极大的降低了算法的复杂度，且当学习效率为0.05时，收敛值达到0.0055，具有更小的均方误差收敛值。均方误差收敛后得到滤波器抽头的权值，在基带多速率相干光通信系统的传输模型中，本方法得到的滤波器权值在全频带具有更好的滤波效果。通过基带脉冲成型限制基带信号的有效带宽后，此时滤波器的抽头数目为197，相对全频带抽头数减少3/8，所以能在窄频带设计出抽头数目更少，滤波效果更佳的最优滤波器。仿真结果表明：无论在全频带还是在窄频带，系统具有较低的误码率，而且滤波效果均优于FIR和Hm-FIR(Hamming windowFinite-length Impulse Response)。当训练序列数以万倍增加时，使用小批量梯度下降法能用有限的样本数模拟较大的样本数，且保证权值朝着正确的方向更新，而且训练滤波器时算法复杂度更低，收敛速度更快。
　　3、提出了一种基于最小二乘法的LS-FIR滤波器。根据色散补偿滤波器的频域传输函数与有限长单位冲激响应的频域函数之间的关系构造出线性方程组，由于线性方程组中独立方程的个数大于未知量的个数，所以此方程组无解。但在最小范数的意义下，能够找到一组解使得估计误差模的平方和最小，得到的解是最小二乘解。用所得到的最小二乘解作为滤波器的抽头权值，即是所要设计的滤波器。在同种调制格式（QPSK/16QAM/64QAM）下，当系统信噪比为（1~20）dB时，在全频带当滤波器的抽头数为315时，均方误差稳定于2.6109×10-6；在窄频带时当滤波器的抽头数为197时，均方误差稳定于2.5566×10-6；所以该FIR滤波器具有较高的稳定度，较小的均方误差，该方法具有较好的逼近效果。在同种调制格式（QPSK/16QAM/64QAM）下，当系统信噪比为（1~20）dB时，仿真分析LS-FIR、FIR和Hm-FIR滤波器的均衡效果，仿真结果表明：无论在全频带还是在窄频带，LS-FIR滤波器具有更优的均衡效果。通过脉冲成型和匹配滤波使滤波器有效带宽限制在窄带范围内，此时滤波器的抽头数目相对减少3/8，而均衡效果仍优于FIR滤波器。