高速光纤传输系统已经成为当今干线长距离传输网络的主要方式,与传统的电缆传输相比,它具有更高的传输速率、更远的传输距离,可以满足当今信息量大幅度增长的需求。然而,随着传输速率与传输距离的不断提升,影响传输质量的群速度色散效应、非线性效应及偏振模色散效应等问题将会愈发显著。利用对光的新型调制技术的应用可以有效地改善这些问题,已经渐渐成为高速长距离波分复用系统的关键技术。本文依次介绍了两种光调制方式和相应的光外调制技术相关器件；研究了基于幅度调制、相位调制的不同码型的信号生成与接收,对总速率同为100Gbit/s的正交差分相移键控(DQPSK)系统、八相差分相移键控(D8PSK)系统进行了仿真,对色散效应、非线性效应及偏振模色散效应所致传输性能的影响进行了分析比较,结果表明D8PSK在色散容忍度和偏振模色散容忍度上具有一定优势,在非线性容忍度上由于功率谱密度较高而显得稍差；研究了基于幅度相位联合调制技术的十六进制相移幅度键控(HDPASK)的信号生成与接收,以及在此基础上的偏振复用和波分复用技术；对PDM-HDPASK系统进行仿真并做了较为全面的传输性能分析,包括各种外界因素各种参数变化对系统的不同码型以及D8PSK和ASK两支路的影响,研究了其4×320Gbit/s WDM系统的信道间串扰问题,结果表明CSRZ-D8PSK和CSRZ-PDM-HDPASK码型在传输性能综合方面具有更好效果。