近几年来，随着高速数字信号处理技术(Digital Signal Processing，DSP)和模数转换技术的进步，相干光通信重新成为研究的热点。相干检测与DSP技术相结合，可以在电域进行载波相位同步和偏振跟踪，清除了传统相干接收的两大障碍。基于DSP的相干接收机结构简单，具有硬件透明性；可在电域补偿各种传输损伤，简化传输链路，降低传输成本；支持多进制调制格式和偏振复用，实现高频谱效率的传输。众多优势使得基于DSP的相干接收系统成为下一代光通信系统的重要选择，有关其传输特性和接收算法的研究迅速展开。对于长距离传输，非线性损伤对系统性能有极大影响，它对发送功率的限制最终限制了系统性能。本论文对相干检测正交相移键控(Quadrature Phase Shift Keying，QPSK)系统中的非线性效应及其均衡技术进行了深入研究，具体研究工作如下：　　 1.建立了单偏振和偏振复用相干QPSK传输系统的仿真平台；研究了无在线色散补偿链路中信道内非线性引入的非线性相位噪声的统计特性，证明此链路条件下线性相位噪声预测器不能减轻非线性损伤，需要采用其他方式来进行信道内非线性的均衡。　　 2.提出了采用粗分步傅立叶算法的信道反转方法对信道内非线性进行电域均衡。通过本方法，可以显著提高系统性能，增加传输距离，并进行了10G Baud相干接收NRZ—QPSK的非线性传输实验验证。　　 3.提出了基于Volterra理论的非线性电均衡器，可实现信道内非线性效应的自适应均衡，适用于链路发生动态变化的网络环境中；采用时域匹配条件对均衡器结构进行简化，大大拓宽了其应用范围，并进行了10G Baud相干接收NRZ—QPSK的非线性传输实验验证。　　 4.针对目前基于DSP的相干QPSK非线性传输系统数值仿真缺乏有效的误比特率(Bit Error Rate，BER)估计方法的问题，提出了两种基于相位噪声的概率密度函数(Probability Density Function，PDF)拟合的BER估计方法，分别是基于Parzen序列的PDF拟合和基于通用指数函数族的PDF拟合。与Monte Carlo仿真相比，两种方法均可有效降低计算量。