近几年来,伴随着高清网络视频,实时网络游戏等互联网新技术的发展,光纤通信系统中骨干网的传输容量一直在不断增加。传统的光网络传输速率已无法满足社会的需求,如何进一步提升光纤传输系统的总容量已经成为摆在国内外各大运营商和科研机构面前的重大问题。本论文对未来超高速光纤传输系统中的几项关键技术进行了研究,内容主要包括：高速光时分复用与解复用技术,高阶调制格式及相干解调技术,光频率梳产生及其应用。论文对高速光时分复用系统中的超短脉冲光源与解复用时域窗口进行了研究。使用MZM与两只PM级联,通过引入啁啾再由DCF补偿的方式产生了40GHz的超短光脉冲。其脉宽为1.8皮秒,消光比为20dB,光谱带宽约为2nm,光信噪比高达43dB。接下来使用两级光延时线将40GHz脉冲复用为160GHz,观测到的时域脉冲波形无相互干涉,可用于高速OTDM系统。在解复用方面,使用级联两个MZM的方法产生了40GHz的解复用时域窗口。生成的脉冲序列脉宽为4.2皮秒,消光比为18dB,光信噪比高达50dB,能够满足160GHz-40GHz解复用系统的要求。本文对几种典型的高阶调制格式及其解调技术进行了探索。首先,通过实验利用DPMZM产生了40Gb/s的QPSK调制信号。产生的QPSK光信号眼图清晰,星座图上四个点呈均匀分布。接下来,又通过实验生成了10Gb/s的16QAM调制信号。仍使用DPMZM进行调制,从实验结果可以看到,星座图中16个星座点呈正方形对称分布,且眼图中能够辨别出四层眼皮。之后又对它们的解调过程进行了研究,这里使用的是基于DSP技术的相干检测。在分析过相干接收及DSP算法的基本原理后,使用该方法完成了实验生成的40Gb/s-QPSK光信号的解调过程。从离线处理得到的误码率曲线可以看到,在接收端OSNR为20dB时能够实现零误码传输。光频率梳技术在高速光通信中有着重要作用。论文首先对光频率梳在高速光通信系统中的应用进行了调研,并在此基础上通过实验使用级联DPMZM产生了25根频谱间隔可调的超平坦梳状光谱。实验结果表明,所生成的25根梳状光谱各载波间的功率变化幅度仅为0.75dB,且边模抑制比高达20dB。另外,通过改变射频信号频率即可灵活改变频谱间隔。