随着社会信息化水平的不断提高、互联网用户数量的增长与数据业务的多样化,通信网络的带宽需求呈爆炸式增长,而目前的网络带宽已接近现有技术手段的极限。为了应对即将面临的“带宽危机”,满足信息化社会的发展需求,基于少模光纤（FMF）的模分复用（MDM）技术被提出,近年来受到国内外学者的广泛关注。MDM技术利用FMF中独立且正交的传播模式实现多路数据流的并行传输,从而极大地提高系统的传输容量。然而,由光纤及光内联器件制备与铺设工艺的缺陷所引起的模式耦合（MC）、差分模式群时延（DMGD）及模式相关损耗（MDL）等干扰会破坏模式之间的正交性。因此,研究能够有效抑制模间干扰的高效解复用技术,对MDM系统传输容量的改善具有重要意义。本文在建立基于FMF的MDM通信系统模型的基础上,结合高效的空时编码方案,重点研究能够改善MDM系统性能的MIMO信号处理技术。具体内容总结如下:一、搭建了基于FMF的MDM通信系统模型。以三模光纤MDM通信系统为例,首先对弱耦合、弱耦合加扰、强耦合和强耦合加扰这四种典型MDM信道的MDL分布进行了仿真分析。其次仿真了不同耦合强度下的MDL,分析了耦合效应对MDL的影响,并计算了为使MDL达到其理论下界1.0d B范围内,不同耦合强度下单位光纤段所需的加扰器数目。此外,通过对比不同MDL下的信道容量,验证了MDL对信道容量的损伤效应。为实现MDL影响下高效可靠的信号检测,提出了基于机器学习的信号检测算法。根据投影梯度下降算法迭代展开形式搭建了信号检测网络（Det Net）。为充分学习数据特征,采用One-Hot映射对训练数据进行预处理。此外,引入非线性变量与残差特性强化Det Net学习能力与性能。仿真结果表明,在弱耦合情况下,Det Net与ML相比信噪比损失约为2.0d B。而在弱耦合加扰,强耦合以及强耦合加扰条件下,Det Net与ML相比信噪比损失均小于0.5d B。二、考虑到模型驱动的Det Net依赖于信道状态信息实现网络参数优化,而实际通信系统可能存在诸多难以预期与准确建模的干扰。因此提出了采用深度学习（DL）的数据驱动的联合信道估计与信号检测网络。通过对该网络的训练,建立接收数据与发送数据之间的非线性映射关系,采用大量包含导频与信号的训练数据集优化网络参数,而无需显式地信道估计。仿真结果表明,基于DL的联合信道估计与信号检测方案与确知信道状态信息的MMSE检测算法相比,在弱耦合、弱耦合加扰、强耦合以及强耦合加扰情况下信噪比分别改善了2.0d B、1.1d B、1.5d B和1.0d B。