随着光纤主干网需要承载的数据流量急剧上升,超大容量的太比特光传输系统成为下一代光纤通信的发展方向。因此,对各种能够提升信道容量、提高频谱利用率的新型复用技术进行研究非常必要。其中,信道间能够达到无间隔排列的Nyquist-WDM技术,一个比特携带多个信息的高阶调制格式,因具有较高的频谱资源利用率而成为实现太比特传输最具有竞争力的新型复用技术。同时,利用一个激光器产生多个子载波的多载波光源可同时为多个信道提供光信号,而有可能成为太比特光传输复用系统中最经济、最具有竞争力的光源。而利用空间相位维度的轨道角动量（OAM）复用技术可使多个OAM并行模式信息在同一新型光纤中传输,使光纤的频谱利用率和传输容量再一次得到提高,也已成为非常有竞争力的新型复用技术之一。论文紧紧围绕太比特光传输系统中新型复用技术的若干问题和关键技术进行了深入的理论推导、仿真分析和实验研究。包括高质量多载波光源的产生、高阶调制光信号的产生、Nyquist-WDM光信号的产生以及OAM模式基础理论、产生和串扰。论文的创新点和主要工作如下:1.提出了一种在多载波产生的循环频移回路中增加一个AMZI来提高多载波输出载噪比的改进方案。详细推导了种子光及其噪声经过非对称马赫增德尔干涉仪（AMZI）后的理论公式,说明经过AMZI后的光信号的功率几乎没有受到任何影响,而噪声功率减为原来的一半。因此可以将AMZI插入多载波产生的循环频移回路中来降低由于循环次数的递增而逐渐加大的ASE噪声,以使输出多载波的载噪比提高,进而仿真得到了数目分别为20和50的多载波输出,并搭建多载波产生系统,分别针对传统方案以及循环频移环路内和环路外插入一个AMZI的改进方案,进行了多载波的产生实验。结果表明,相比于传统方案,基于AMZI的改进方案产生的多载波,其载噪比性能得到很大提高,并且AMZI置于环内的改进方案比AMZI置于环外的方案产生的多载波的载噪比性能更优。这种基于改进方案产生的多载波的载噪比性能完全满足下一代太比特光传输系统中高阶调制格式信号对光源的要求。2.利用Waveshaper对QPSK光信号进行了精心的滤波器设计,实验实现了 Nyquist-WDM-QPSK光信号的产生。通过对可编程光信号处理器（Waveshaper）的滤波带宽及通道带宽规范的分析,详细推导了 Waveshaper的传输函数,并利用该传输函数,针对QPSK光信号的光谱形状,进行了精心的光滤波器设计,以实现对QPSK光信号的Nyquist滤波整形。最后搭建实验产生平台,实现了具有一定滚降系数的Nyquist-WDM-QPSK光信号。该方案可为下一步高阶调制格式Nyquist-WDM光信号的产生提供理论参考。3.完善了折射率均匀分布的环状光纤中基于贝塞尔函数的OAM模式分析理论。基于麦克斯韦方程组,结合光波导基础理论,对环状光纤的矢量光场进行分析,通过理论推导和数值计算方法,求解得到理想环状光纤中的本征模式—基于贝塞尔函数的OAM模式。论文完善了折射率均匀分布的环状光纤的模式分析理论,该理论同时适用于环内外层折射率相同或不相同,以及弱导近似和非弱导近似的情况;提出了一种系统地求解模式传输常数和截止频率的数值方法,利用该方法求得环状光纤中各OAM模式的色散曲线和能够表征不同参数组合下模式性质的区域图,并在此基础上分析了不同内外环半径比值以及不同折射率分布对OAM模式性质的影响,从而找出适合应用OAM复用模式进行光传输的环状光纤结构参数的区域,最后在该区域内选取环状光纤的最优设计参数,利用专业的有限元软件COMSOL仿真得到对应OAM模式的有效折射率和场强分布。结果表明,原本简并的OAM模式间的有效折射率差随着内外层与环层材料折射率差的增大而增大;随着内外环半径的比值的变化,各模式的色散曲线也会有不同程度的漂移,也会造成OAM模式的数量和最小有效折射率差发生变化。