21世纪以来,随着人们对网络流量需求爆炸性的增长,光纤通信系统的传输速率与传输距离都受到了新一轮的巨大挑战。相干光通信技术以其接收灵敏度高、中继距离长、通信容量大、能适应多种调制格式而取代传统的强度调制加直接检测技术,成为100Gb/s及以上的高速率光纤通信系统的宠儿。在如此高速的系统中,接收机对光信号的相位信息与偏振信息都会特别敏感,因此发射端与接收端激光器线宽导致的相位噪声、光纤的双折射效应及偏振模色散已经成为影响传输质量的重要因素。针对以上两种效应,本论文在介绍相干光通信系统工作原理及发展状况的基础上,重点研究了接收端载波相位估计模块与偏振解复用模块的控制算法。主要有以下几个方面的工作：(1)对光通信系统进行了全面细致的分析。介绍了光纤通信的基本原理、单模光纤传输条件及其中的双折射效应、色度色散、偏振模色散、光纤损耗、非线性效应等机制的原理及对光信号的影响；(2)对相干光传输系统进行了系统的理论与实验研究。分析了相干光通信系统发射端信号产生与接收端数字信号处理各个模块的功能与使用的算法,搭建了224Gb/sPDM-16QAM相干光传输实验系统；(3)深入研究了相干接收机载波相位恢复模块。详细分析了载波相位恢复的原理与必要性,针对PDM-QPSK格式及PDM-16QAM格式深入研究了几种载波相位恢复算法,即四次方算法、预判决算法、盲相位搜索算法以及他们的几种改进算法。基于2中的PDM-16QAM实验系统对现有算法进行了性能的实验验证,得出了最适合的算法——QPSK分区与最大似然级联算法。在该算法的基础上,基于算法性能与计算复杂度的平衡,提出了一种改进算法,达到了算法误码性能与误差向量幅度性能基本不变的同时,算法计算复杂度降低约一半的效果。(4)对偏振解复用及偏振模色散补偿进行了仿真研究。详细分析了偏振解复用及偏振模色散补偿的原理及必要性。利用matlab搭建了112Gb/sPDM-16QAM仿真系统,比较了标准恒模算法、改进型恒模算法、变步长恒模算法、自适应步长恒模算法及判决指引－最小均方算法在该系统中信号恢复效果,确定了自适应步长恒模算法是奇异性抵抗能力、误码性能、信号恢复效果最好的解复用与偏振模色散补偿算法。总的来说,本论文的工作主要集中在高速相干光通信系统整体架构及其中载波相位恢复、偏振解复用模块的研究。在搭建的仿真与实验系统的基础上,分析并验证相关算法的效果,并进行改进。