近年来,光通信发展势头强劲,对其的关注度日益递增。而相干光通信系统作为第四代光纤通信系统,新一代通信技术,能够实现大容量、长距离通信,始终是通信领域的研究热点。目前传统的商用光通信系统一般是直接检测(DD)系统,采用强度调制(IM)技术,长于幅度信息的检测,但是其输出一般是与输入信号的强度有关系,没办法补偿线性失真限制了系统的传输速率。而相干检测技术可通过线性均衡,利用偏振复用技术等,补偿系统中的线性失真,更适合高阶调制格式,能够更利于实现大容量通信,是本文的研究基础。在相干光通信系统中,同步技术和信道均衡是系统的重要环节之一。信号同步是进行信号传输的先决条件,同步的效果将直接或间接地影响到接收机的差错率与误码性能。而目前时钟恢复的性能经常会受到码间干扰的影响,现有的同步算法也仅适用于相邻符号相位相反的情况,因此对于定时同步环路中的均衡的研究必不可少,具有重要的研究价值和实际意义。本论文在研究相干光通信系统的基础上,重点研究了联合信道均衡,数字相干光接收机的时钟恢复模块的循环反馈定时同步算法以及时钟恢复环路。详细地介绍了相干光通信系统的组成、系统结构及关键技术,包括时钟同步、信道均衡、载波同步等,着重对定时恢复进行了深入的研究。本论文的主要研究内容和创新点如下:(1)提出了适用于相干光通信系统的优化的时钟恢复算法。本文在研究相干光通信系统的基础上,基于Gardner算法,提出了优化的时钟恢复算法。该方法适用于相邻符号同相及反相的情况,解决了传统算法的限制性问题,为后续的环路性能提升奠定了基础。研究结果表明,开环环路的S曲线近似为正弦曲线,过零斜率较大,中间较陡。尤其是当滚降因子趋向于0时,本文的算法表现出了较好的时钟性能。(2)提出了自适应插值反馈式定时恢复环路的方案。在研究时钟恢复模块下的反馈式定时恢复环路的基础上,重点研究了环路中的内插滤波器、定时误差检测器、环路滤波器、数字控制单元(数控振荡器和分数间隔计数器),并基于插值滤波器,联合自适应均衡提出了适用于相干光通信系统的自适应插值技术。研究结果表明,优化之后,消除了频谱镜像引起的码间干扰,极大降低了误码率,在10-3到10-2左右,MSE也基本上从0.024降到了 0.009。且环路优化后,更适用于低信噪比的情况。(3)提出了联合信道均衡的自适应插值信号同步系统方案。仿真分析研究了时钟恢复外的色散及色散补偿技术、载波恢复与波分复用技术,结合(2)中提出的优化环路,联合了环路内和环路外的均衡,研究分析后建立了一套更加完善定时同步系统。在研究同步系统的基础上,提出了一套更加完善定时同步系统方案。该方案结合(2)中提出的优化环路,联合了环路内和环路外的均衡,并研究了时钟恢复外的色散及色散补偿技术、载波恢复与波分复用技术。研究结果表明,这样的系统有更低的误码率。