在全球数据流量爆发式增长的背景下,单模光纤通信系统容量已越来越接近其非线性香农极限。作为突破单模光纤容量极限的一种新的扩容技术,模式分集复用技术通过挖掘模式这一新的自由度可以成倍提升光纤通信系统容量。然而,在实际的基于少模光纤的模分复用系统中,模式耦合以及差分模式群时延等损伤会严重劣化模分复用系统的传输性能、限制模分复用系统的传输距离。在模式耦合和差分模式群时延的共同作用下,信号在模分复用系统中的传输过程要比单模光纤系统更为复杂:系统每路输出信号都是多路输入信号与信道冲激响应线性卷积的叠加。因此,如何有效补偿模式耦合和差分模式群时延等损伤,解决多信道卷积性混合问题,实现输出信号解复用是模分复用系统的关键问题。本文紧紧围绕模分复用系统中的模式解复用问题,在深入分析模式传输特性、不同损伤产生机制以及损伤对信号作用机理的基础上,依据矩阵传输理论推导了模分复用系统的传输模型,并据此引入多模盲均衡、多通道盲解卷积等无需数据辅助的盲信号处理技术来补偿模分复用系统中的各种损伤,消除模式信号的卷积性混合,最终实现解复用。本文的主要工作和创新点具体包括以下三个方面:1.针对常用的盲均衡类解复用算法在高阶调制格式时稳态剩余误差较大等问题,提出基于时域多模盲均衡的模式解复用算法。通过对单输入单输出多模盲均衡算法的扩展,构造出适用于模分复用系统的多输入多输出多模盲均衡算法。并通过搭建的模分复用仿真系统分别验证时域多模盲均衡算法对于低阶调制格式和高阶调制格式的解复用性能。结果表明:多模盲均衡算法在调制格式为4QAM、16QAM和64QAM时均能有效实现解复用,且数字信号处理模块中无需加入载波相位恢复算法。此外,针对时域多模盲均衡算法用于长距离模分复用系统时计算复杂度过高的问题,提出多模盲均衡算法的频域实现算法,即频域多模盲均衡算法。为满足输入信号的二倍过采样和分块自适应构建出包含奇偶子滤波器的蝶形均衡器;并利用快速傅里叶变换将时域多模盲均衡算法扩展到频域;推导出频域多模盲均衡算法具体的梯度更新规则。结果表明:频域多模盲均衡算法在保留时域算法解复用性能的基础上,计算复杂度大幅降低,与常用频域最小均方算法的复杂度位于同一个量级。2.针对模分复用系统特殊的信道传输特性,提出基于多通道盲解卷积的模式解复用算法,直接在时域对卷积性混合的输出信号进行盲分离。首先对卷积性混合的输出信号进行时延向量扩展,将复杂的卷积性混合问题转化为相对简单的瞬时混合问题,然后通过成熟高效的独立成分分析算法实现模式信号的分离。结果表明:在低阶调制格式时,多通道盲解卷积算法的解复用性能与常用均衡算法相近,但在高阶调制格式时,其性能要优于均衡算法。此外,针对时域多通道盲解卷积算法计算复杂度高的问题,提出多通道盲解卷积的频域实现方法—频域独立成分分析算法。算法通过离散短时傅里叶变换将时域内的卷积混合简化为频域内的瞬时混合;时频变换后,利用复值独立成分分析算法对各频点频域分量进行分离,并通过排序算法消除由独立成分分析处理引起的次序不确定性;最终通过逆短时傅里叶变换恢复出时域估计信号。复杂度分析结果表明:频域独立成分分析算法大幅降低了解卷积性混合的复杂度,且表现出对系统模式个数不敏感的优势。但是,当系统差分模式群时延增大到一定程度后,算法复杂度急剧上升。3.针对基于频域独立成分分析的模式解复用算法在大差分模式群时延时会出现复杂度陡升的问题,提出改进的连续收敛的频域独立成分分析算法。理论推导了次序不确定性的成因并通过仿真实验验证次序不确定性对解复用性能的具体影响。为避免排序算法所带来的计算负担,依据相邻频点分离矩阵相近这一特性,为各频点分离矩阵初始化提出一种新的方法。该方法使用较低频点收敛后的分离矩阵作为下一个较高频点分离矩阵的初值,以控制下一个相邻较高频点分离矩阵的收敛趋向,保证相邻频点的瞬时分离系统具有连续的收敛方向和一致的信号输出顺序,从而避免了次序不确定性,省去了额外的排序算法。复杂度分析结果表明:改进的连续收敛的频域独立成分分析算法的复杂度要优于频域独立成分分析以及频域最小均方算法。同时,仿真结果表明:改进的连续收敛的频域独立成分分析算法是一种快速高效的解复用算法,其解复用性能与频域独立成分分析和频域最小均方算法相当,但其收敛速度相对于频域独立成分分析算法来说提升54.5%。本文通过对多模盲均衡算法和多通道盲解卷积理论的深入研究,结合模分复用系统自身特殊的信道传输特性,提出了适用于模分复用系统解复用的新算法。所提出的算法在提升系统输出效率、补偿相位噪声、对高阶调制格式的适用性特别是计算复杂度等方面较现有算法均具有一定程度的改善,为进一步研究适用于模分复用系统的解复用方法提供参考。