针对不断增长的通信带宽需求对光纤通信系统提出的大容量、高谱效率新要求,本论文以超高速光纤通信系统及其关键技术为核心开展了研究工作。在超高灵敏度相干接收方面,论文提出并实现了外差相干和电延迟干涉仪构造的模拟相干接收机,成功实现了2.5Gbaud速率下DPSK信号无放大接收灵敏度-45.18dBm。在全光逻辑门方面,提出了QPSK全光逻辑门的概念,并利用半导体光放大器中的四波混频效应,成功在40Gbaud速率下实现了QPSK信号的全光异或逻辑门。在大容量传输方面,本论文以光时分复用系统为切入点,在研究过程中提出了解复用反馈时钟提取技术。理论分析了时钟强度与时分复用各支路信号分布之间关系。实现了单信道QPSK调制的双偏振态640Gbit/s-400km时分复用系统的基频时钟提取,使整个时分复用系统达到了无误码传输。在背靠背和400km传输后提取的40GHz基频时钟时间抖动分别为31飞秒和35飞秒,逼近系统射频时钟源指标。在高谱效率传输方面,本论文以正交时分复用系统为切入点,通过国际合作,将以时域光傅里叶变换原理为基础的时域频域变换技术应用于正交时分复用系统的解复用接收。借助硬件前向纠错模块,完成了DPSK调制的单信道双偏振态1.28Tbaud (2.56Tbit/s)-100km的正交时分复用系统无误码传输实验。此外,本论文还通过国际合作,提出并实现了基于时域光傅里叶变换和频域光傅里叶变换的新型全光正交频分复用收发机,并在160Gbaud速率下进行了验证实验,实现了100km无误码传输。