随着社会信息化程度的不断提高,网络容量需求急速增长。按照现有的发展趋势,2020年后,传统的单纤传输系统已经不能满足网络容量的需求。因此研究和发展突破性的大容量光纤通信系统及其关键技术具有现实迫切性。2009年以来,模分复用的概念被提出,它能够极大地提高光纤通信系统的容量和频谱效率,是解决传输能力和网络容量的一种有效方案,各国科研机构迅速对其开展了相关研究工作。作为一个新的研究方向,模分复用系统尚有许多关键的科学问题亟需研究解决,诸如少模光纤传输链路中的随机模式耦合的对发送信号和系统性能的影响以及各关键模块(模式转换器、模式复用器和解复用器、数字信号处理等)的内在机理及设计实现等。本论文主要基于国家重点基础研究发展计划(973计划)课题“多维复用光纤通信基础研究”,对模分复用传输系统及其关键技术进行了研究,最为主要的研究内容为模分复用传输系统的信道模型和接收端MIMO DSP的解模式耦合算法的提出与实现。论文的主要研究内容与创新工作如下:第一部分:建立了包含有随机模式耦合效应的线性少模光纤传输信道模型。为了验证接收端解复用算法的性能,需要首先建立少模光纤传输信道模型。本论文在建立少模光纤信道时,着重考虑随机模式耦合效应的影响。依据侧重于考虑光场相关的模式特性还是侧重于考虑模式的功率能量特性,模式耦合可以用完整的复数模式电场或者简化的实数模式功率进行表征。依据耦合强度强弱的不同,可以分别对少模光纤信道建立多段和单段矩阵传输模型。第二部分:构建了模分复用传输系统的通用模型并对其进行了仿真。通过阅读大量模分复用相关国际最新的研究成果,参照VPI仿真平台上模分复用系统的一般模型,建立了用于本论文仿真的通用系统模型。该模型由下列几个模块组成:信号产生模块、模式转换器、模式复用器、少模光纤传输链路、模式解复用器、相干接收模块、DSP模块等。通过深入研究目前主流使用的各模块的原理和性能,搭建了可以同时传输多个模式的模分复用传输系统的通用仿真平台。第三部分:采用多输入多输出时域均衡算法和CMA算法实现了解模式耦合,并比较了两种算法的性能。本论文首先对四个模式在不同耦合强度下,采用单段矩阵传输模型进行仿真,通过对比CMA和DA-TDE两种算法解模式耦合的性能,结果发现在强模式耦合条件下CMA算法比DA-TDE算法性能更优。进而进一步对六个模式在完全强耦合条件下,采用多段矩阵传输模型进行仿真,结果发现CMA算法也同样具有良好的性能。