最近几年,伴随着互联网产业的高速发展,网络流量也迅猛提升,带宽的需求也随之增加。那么如何在现有的基础上来提升系统的容量和频谱效率,这使得光纤通信的研究再一次成为了热点。基于高阶高维调制方式和数字信号处理(DSP)技术的相干光通信技术,由于其能采用新型的调制格式来增大频谱效率、中继距离长以及能在电域对线路上的损伤进行补偿等优点,让其成为下一代光纤通信的发展方向。本文研究的重点内容为高速相干光通信系统中关键技术,特别研究了相干光通信系统中高光谱效率的调制方式。本文主要工作如下:1、针对高速相干光通信中的关键技术进行研究分析,主要包括:新型调制格式、窄线宽激光源、相干检测技术和数字信号处理技术。2、重点对高光谱效率调制方式进行研究。分别从幅度调制、相位调制以及幅度相位联合调制方式出发,研究了QPSK、8PSK以及16QAM三种调制方式。从原理以及调制结构等多个方面对其进行比较,经过分析最后得出在面向未来超100G的传输系统中,16QAM调制方式的可行性。3、提出了改进型四电平信号的生成方案,对基于偏振复用的16QAM信号进行系统仿真,通过仿真计算分析,在偏振分束器角度设置合理时,可以实现DP-RZ-16QAM信号的传输。