现代社会已经处于信息技术高速迸发的时代,互联网、大数据、云服务、IPTV和下一代移动通信技术对宽带数据传输容量的需求日益增加,这些对光纤传输网络的传输速率提出了更高的要求。自上世纪80年代以来,波分复用及密集波分复用技术、掺铒光纤放大器和各种高性能光纤、相干光通信技术已经被用于光纤传输线路中,极大的扩展了光传输系统容量和传输距离,光OFDM、高阶调制格式等新型传输技术也逐渐走向实用化。然而,标准单模光纤(SSMF)固有的非线性特征限制了容量的提升,其香农极限正在被逐渐逼近。为了突破单模光纤带来的传输瓶颈,基于空间维度复用的光传输技术,包括模式复用和多芯光纤技术,正在成为一个研究热点。基于少模光纤的模式复用技术利用空间上正交的几个模式进行传输,可以成倍的提升单根光纤的频谱效率,然而,由于光纤参数的缺陷及线路中的弯曲、扭转等因素,模式之间会产生耦合,同时,模式之间不同的传输速度导致模式色散,这两种因素会对模式复用传输信号带来严重的损伤,并会限制系统容量。因此,少模光纤模式复用系统需要使用MIMO信号处理技术以恢复受损伤的信号,提高系统性能。本文基于理论推导和仿真验证,对光纤模式复用系统进行了链路分析及信号处理研究。本论文的主要研究内容及主要创新有：(1)研究了少模光纤模式复用系统的关键部分的实现方式,包括系统发送端及接收端的关键器件,如模式转换、模式复用及解复用相关实现方法和相关器件。研究了少模光纤中的空间模式分布,线性偏振模的特点,以及适用于模式复用传输的少模光纤设计。(2)研究了少模光纤传输链路中的线性损伤,主要包括少模光纤的基本传输特性,链路中模式间的耦合、色散。建立了少模光纤模间交叉作用的链路模型,仿真了模式信号传输时受到的影响。建立了包含衰减、色度色散及模间交叉作用的完整的传输系统模型。根据信道特征进行了链路的容量分析,提出了提升机制。(3)针对模式信号传输时受到的影响,研究了模式复用系统解复用端的信号处理算法,包括对色度色散的补偿和使用CMA算法进行的盲均衡,将RLSCMA算法进行MIMO扩展用于系统中,取得了更佳的均衡效果,均衡器收敛更快,能够跟踪复杂的信道变化。