在当前高速相干光传输系统中，应用比较广泛的是相干光单载波时域均衡信号(CO-SCTDE)以及多载波的正交频分复用信号OFDM。这两种信号存在着各自的优缺点，在高速相干光通信系统的实际应用中，均不具有压倒性优势。在针对更适合高速率长距离传输且具有高频谱效率的相干光传输系统方案的探索中，本论文将焦点放在了将这两种信号的优势进行组合的基于频域均衡的单载波相干光传输系统。根据DSP处理算法的不同，分为相干光单载波频域均衡信号(CO-SCFDE)以及相干光单载波频分复用信号(CO-SCFDM)。此两种信号均采用了多载波系统中常用的频域均衡方式，以此获得较低的均衡复杂度以及较好的均衡效果。另外，这两种信号均保留了一定单载波的特性，使得其与CO-OFDM系统相比具有较低的峰均功率比(PAPR)。所以在高速率长距离传系统中，具有较好的非线性容忍度。此外，这两种信号均能获得较好的频谱效率。主要研究工作如下:　　(1)基于频域均衡的相干光单载波传输系统中的关键技术研究　　主要包括时域同步方式、载波频偏纠正、信道估计算法以及激光器相位噪声抑制方法。其中，重点研究了相位噪声的抑制方法，并且提出了两种比较有效的方法。一种方法是子载波间串扰自消除技术，这种技术利用对子载波上调制数据的合理构建，达到减小相位噪声所带来的子载波间串扰的目的。另一种方法是基于伪导频的近盲相位噪声抑制方法，此种方法通过构建伪导频，在接收端以此进行相位估计的方式，几乎节省了传统相位估计算法中所需的所有导频的开销，提高了系统的频谱效率。这两种方法不但对CO-OFDM系统有效，且完全适用于CO-SCFDM或CO-SCFDE系统。　　(2)CO-SCFDE系统的理论与实验研究　　对CO-SCFDE系统发射机架构方式进行了阐述，提出了2种分别用于NRZ、RZ码型以及经过电滤波的CO-SCFDE基带发射机结构，并对这3种码型CO-SCFDE信号进行了仿真对比。仿真说明了CO-SCFDE可以通过以引入PAPR为代价，对信号进行电滤波以达到较高的频谱效率。　　在CO-SCFDE系统的理论仿真基础上，实现了2个100Gb/s水平的CO-SCFDE系统传输实验。分别为120Gb/s CO-SCFDE系统(3个光载波)317km标准单模光纤传输实验以及96Gb/s CO-SCFDE系统（1个光载波）传输实验。96Gb/s CO-SCFDE系统传输317km前后达到1×10-3误码率的光信噪比代价约为0.5dB。这也是当时最早报道的100Gb/s CO-SCFDE系统。　　(3)1.08Tb/s CO-SCFDM系统3170km传输实验　　实现了净速率1.08Tb/s CO-SCFDM系统传输实验，并在此基础上与具有相同速率、频谱效率的CO-OFDM系统进行了实验对比。在只使用EDFA的情况下，CO-SCFDM系统传输了3170km标准单模光纤，而CO-OFDM系统只传输了2536km，并且CO-SCFDM系统的最佳入纤功率要高于CO-OFDM系统大约1dB。这说明CO-SCFDM系统在对抗光纤非线性方面具有优势，体现了在未来高速率长距离传输方向上的发展潜力。　　(4)overlap SCFDM系统的理论与实验验证　　提出了一种将混叠的频域均衡方式应用于CO-SCFDM系统中，从而可以进一步提高SCFDM系统的频谱效率。仿真结果说明，采用这种不加入循环前缀的overlap SCFDM系统与传统SCFDM相比，具有相当的色散及非线性容忍度。并通过实验验证了overlap SCFDM系统的可行性。