目前,高清视频、交互式多媒体等宽带数据业务的迅猛发展需要通信系统具有更高的传输质量和传输速率。在光纤通信系统中,相比强度调制/直接检测(Intensity Modulation and Direct Detection,IM/DD)光通信系统,相干光通信系统因其高速率以及高性能的特征,成为高速光传输的研究热点。在相干光通信系统中,将数字信号处理技术应用于光纤的色散及非线性补偿等方面,能够在很大程度上,提高光纤系统的传输质量。此外,偏振复用技术引入到相干检测的系统中,提高了系统的传输容量。在相干光通信系统中,可以通过使用高阶的幅度/相位调制格式来对光信号的幅度与相位进行调制,从而提高系统的频谱效率,实现高速率大容量信号的光纤传输。本文研究的主要工作如下:1.在相干光正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)系统中,研究了一种基于傅立叶变换扩频(Discrete Fourier Transform-spread,DFT-spread)的方案,可抑制光纤信道中的噪声以及非线性影响,降低OFDM信号的峰值平均功率比(Peak to Average Power Ratio,PAPR)。通过仿真研究,实现了相干光通信系统100Gbit/s的信号传输。此外,使用高阶正交振幅调制(Quadrature Amplitude Modulation,QAM)格式,使用训练序列(Training Sequence,TS)辅助的信道估计结合符号内频域平均(Intra-Symbol Frequency domain Averaging,ISFA)的方法,来提高信道估计的准确性,从而提高了系统经过光纤传输的误码性能。2.在偏振复用(Polarization Division Multiplexing,PDM)的单载波相干光系统中,提出了一种增强型低密度奇偶校验码(Low Density Parity Check Code,LDPC)的差分迭代译码技术,使用高阶QAM调制格式,可实现400Gbit/s信号速率的传输,并进行了仿真研究。利用LDPC译码器以及差分解码器的外信息进行迭代,以此提高译码器的纠错性能。仿真研究了对应的系统误码率和光信噪比的关系,仿真结果表明,提出的方法可以有效克服相位模糊所导致的性能损耗问题,提高系统误码性能。