相干光通信是目前主流的光传输技术。对比传统的强度调制直接探测系统,相干光通信能够探测完整的光场,从而可以利用更多承载信息的维度。为满足日益增长的通信带宽需求,提升通信容量,下一代相干光通信技术需要进一步提高光场的利用率。目前可用的传输波段几乎被密集波分复用技术全部覆盖,为获得更大的容量,提升光场频谱利用率成为主要途径之一。为提高频谱利用率,一方面可以采用高阶调制格式,如高阶正交幅度调制；另一方面可以减小信号带宽,如采用奈奎斯特及超奈奎斯特波形,这两种波形是目前被广泛研究的具有高频谱效率的窄带宽波形,它们对应的时域形状在本文称为窄带宽脉冲波形。然而高阶调制和窄带宽脉冲波形的采用将会对现有的数字信号处理技术提出挑战,现有的多数算法工作性能将会下降,甚至无法工作。本文从当前的相干光通信系统和数字信号处理技术出发,分时间同步、载波频偏同步和载波相位同步三个部分,对采用高阶调制和窄带宽脉冲波形的下一代相干光通信系统接收机数字信号处理技术进行研究。对时间同步算法的研究分为帧同步和采样相位同步两个部分。在帧同步部分,提出一种新的算法,在保持估计精度的前提下,增强了对窄带干扰的抵抗能力,该窄带干扰是由发射机光调制器有限消光比造成的,从而降低了系统发射端的硬件要求。在采样相位同步部分,提出并推导了基于二阶统计的4种经典算法的等效性；而在采用窄带宽脉冲波形的系统中,无法直接使用这类基于二阶统计的算法；本文提出一种基于非线性预处理的新型算法,在对信号进行适当的预处理后,再采用基于二阶统计的算法获得采样同步。对载波频偏同步算法的研究分为频偏获取和频偏跟踪两个部分。在频偏获取部分,分析了经典算法在窄带宽脉冲波形情况下的工作情况；在频偏跟踪部分,提出一种基于非线性预处理的新型算法,能应用于窄带宽脉冲波形系统,由于工作于采样相位同步之前,该算法能够消除频偏对采样相位估计的影响。最后对载波相位同步算法进行了归纳。首先,提出将常用的算法统一到最大后验概率估计的框架,并对最大后验概率问题求解,获得基于空间网格搜索的最优解,和前馈近似解及反馈近似解。然后提出一种基于星座图图像处理的新型算法,在保证相近的估计精度的前提下,极大的降低了复杂度。最后,本文通过仿真指出,对高阶调制,可以通过采用多阶段相位估计策略,以牺牲一定估计延迟为代价,进一步降低计算复杂度。