随着云计算、大数据等技术的不断兴起,互联网应用将以前所未有的态势涌入人们生活的方方面面。光纤通信网作为通信系统中最主要的核心网络,承载了互联网和无线移动网络的大部分流量,在通信中发挥着至关重要的作用。光纤通信系统具有带宽大、抗干扰性强、低时延等显著特点,在未来将持续发挥其特征优势,引领现代通信进入崭新的阶段。因此,对光通信系统及其关键传输技术展开深入研究具有十分重要的意义。本文对光通信系统中二维和三维空间的高阶调制格式展开研究,提出了自适应非均匀高阶调制方案,提升传输效率,增强系统灵活性。研究基于非均匀调制格式的联合网格编码调制(Trellis coded modulation,TCM)与Turbo码的编码调制技术,提升信号抗干扰能力,增强接收机灵敏度。最后针对系统中存在的相位噪声,提出了基于拓展卡尔曼滤波器(Extend Kalman Filter,EKF)的低复杂度相位恢复算法对信号进行有效的损伤补偿。本文的主要工作如下:(1)灵活自适应非均匀高阶调制方案基于高阶调制和非均匀调制技术,本文提出灵活的自适应分层16阶幅相键控(Adaptive Hierarchical 16-ary Amplitude Phase Shift Keying,AH-16APSK)调制方案以及三维自适应分层8/64阶正交幅度调制(3-Dimensional Adaptive Hierarchical 8/64-ary Quadrature Amplitude Modulation,3D-AH-8/64QAM)方案。仿真结果表明,两种方案能够根据信道条件和服务质量(Quality of Service,QoS)要求灵活控制信息映射方式并为不同等级的信息提供不同程度的保护,更好地适应不同系统的传输要求,提高差分服务复用传输系统的效率。此外多维星座还有效提升了接收机灵敏度,降低了系统误码率。(2)自适应非均匀TCM-Turbo联合编码调制方案基于TCM和Turbo编码的理论研究,本文提出基于AH-16APSK的TCM-Turbo联合编码调制方案(AH-TT-16APSK),进一步为不同等级的信息提供差异化保护,同时提高系统的可靠性,减少系统有效信息速率损失。仿真结果表明,该方案能有效控制系统复杂度,在误比特率(Bit Error Rate,BER)为1e-3时,高、低保护等级信号分别可获得最大1.3dB和4.5dB的编码增益。(3)适用于自适应非均匀调制的EKF相位均衡方案基于相位噪声的理论分析和EKF算法研究,本文针对AH-16APSK调制系统提出两种低复杂度EKF相位噪声补偿方案:象限辅助判决导向 EKF(Quadrant-Aided Decision-Directed EKF,Q-EKF)和辐角导向EKF(Angle-Directed EKF,A-EKF)。仿真结果表明,在Q-EKF的算法复杂度较常规EKF减少40%,A-EKF较Q-EKF进一步减少46%的情况下,两种滤波器均能对信号相位噪声进行有效补偿,且具有较强的噪声容忍度。