为了满足人们日益增长的带宽需求,在现代高速大容量光传输技术中普遍采用多进制调制方式以提高光谱利用率。研究表明DPSK调制方式表现出远优于OOK调制方式的传输性能以及更好的抗非线性性能。RZ-DPSK被认为是下一代高速传输系统优先选择的调制方式。在多进制调制信号的处理方面相干光接收技术和线性光采样的测量技术也成为光通信领域研究发展的热点。相干光通信系统的接收机灵敏度高,传输的中继距离长,更有利于充分利用光纤的宽带,提高通信质量。而线性光采样技术是一种适合于高速PSK、DPSK光信号的测量技术,可以利用基于相干检测的线性光采样技术在高比特速率测量PSK、DPSK信号的波形和眼图。因此有必要对DPSK调制方式和PSK、DPSK信号的相干光检测通信系统进行深入的探索。本论文对利用双臂MZM实现DPSK信号调制,新型数字相干光接收机系统以及线性光采样技术做了大量的研究,主要工作为以下几点:(1)研究了利用双臂MZM相位调制器调制DPSK光信号和DPSK光信号的MZDI平衡检测接收的原理。利用Optisystem光仿真软件仿真了DPSK光信号的MZM调制和MZDI平衡检测接收。(2)研究了相干光检测的基本原理,设计了基于零差检测和DSP电路的数字相干接收机的原理图,并推导了相关公式。(3)研究了线性光采样的原理和实现线性光采样的条件以及线性光采样中的噪声分析,推导了相关公式。(4)设计了线性光采样的实验图,根据实验原理图实现了基于Hybrid的线性光采样仿真。