新型调制格式密集波分复用(DWDM)光传输技术是当前光通信研究的热点。差分相移键控(DPSK)信号相比于常用的非归零码(NRZ)信号可以改善接收灵敏度、延长无中继传输距离以及提高对光纤色散和非线性效应的容限。本论文结合实验室承担的863重大项目“3Tet波分复用系统组网、测试与实验”，对基于DPSK的DWDM传输系统进行了研究，主要研究工作和成果如下： 1、对基于马赫-曾德尔干涉仪的 DPSK 解调器的性能进行了分析，研究了调节DPSK解调器中心波长的方法，设计并完成了解调器的温度控制电路。 2、实现了43Gb/sDPSK、双二进制码(DB)和信号交替反转码(AMI)信号的传输实验，其中DPSK和DB信号在传输100km后的功率代价小于1dB(在误码率为10<-9>)，并测试了AMI信号传输100km后的光谱和眼图。 3、研究了非线性效应对于 DPSK 接收系统中如何选择 DPSK 解调器最优FSR值的影响，仿真表明传输距离增长、信号入纤功率以及通道数的增加都可以引起最优FSR的增大。 4、介绍了参与完成的基于铌酸锂调制的超长距离全拉曼放大DWDM传输试验：C 波段8×43Gb/s NRZ-OOK信号传输距离超过900km，BER 经测量在10<-4>量级，传输系统功率代价小于2dB。