随着互联网的普及,流媒体、远程工作、网络游戏、社交网络等互联网应用改变人们日常的工作和生活,高清电视、视频点播、移动通信等业务需求与日俱增,人们对网络带宽的需求急剧增长。受限于非线性效应,传统单模光纤的传输容量上限将无法满足未来通信网络带宽持续增长的需求,因而探索光纤新物理维度、采用相互正交的空间模式作为复用信道来进一步提升光纤的传输容量具有重要的现实意义。论文针对基于少模光纤的模分复用光传输中关键技术展开研究,内容涉及模分复用器的设计和性能测试、传输用少模光纤的模式相关特性研究、模分复用光传输的实验探索等方面。论文的主要研究成果包括:(1)在弯曲和扭曲作用下,理论分析了少模光纤的模式耦合特性。当光纤受到弯曲和扭曲等外界扰动时,分析得到各矢量模之间耦合强度,结果显示同一个模群内部简并模式之间容易发生耦合,但不同模群之间的模式耦合较弱甚至可以忽略。(2)基于硅基液晶(LCOS)的空间相位调制特性提出并研制出一种可工作于离焦状态、偏振复用兼容的模分复用器,可实现少模光纤中任意取向线偏振模的选择性激励,完成基模和任意高阶模式的两模复用,模式选择性高,对离散光学器件位置偏差的容忍度高,便于安装和维护。同时发现LCOS的相位调制相关损耗并研究其对模式转换的影响,并提出相应解决方案。(3)针对光子灯笼型全光纤模分复用器,提出一种测量其功率传输矩阵的技术方案,依靠背向反射光功率检测和数学计算可以得到光子灯笼的功率传输矩阵,进而能够获得其插入损耗和模式选择性等性能参数。对具有不同端口数目和不同模式选择性的光子灯笼开展实验测试,证明测试方案的可行性与通用性。(4)从偶极子辐射模型和表面波激励理论出发,推导出弱耦合少模光纤中瑞利背向散射模式相关特性的数学模型,并予以实验验证。理论获得了前向传输模式与瑞利背向散射强度及模场分布的关系,通过数值计算分析少模光纤结构参数对瑞利散射的模式相关特性的影响,结果显示瑞利散射光以不同比例分布于所有导模中,与前向传输光场具有相同模场分布的模式占有最大比例。最后实验测试了三种不同类型两模光纤中瑞利背向散射的强度和模场分布,实验结果与理论预测基本符合。(5)开展12个空间和偏振模式的复用传输实验,验证了格码调制(TCM)可为模分复用光传输系统带来编码增益。在支持6个LP模的少模光纤中开展的12个空间和偏振模式的复用传输结果显示,相比QPSK调制,高级编码调制TCM-8PSK在硬判决阈值处可获得1.93 dB的OSNR增益。少模光纤环路的测试结果表明,长距离模分复用系统的模式相关特性影响传输的稳定性和误码率,需要降低少模光放大器的模式相关增益,以保证信息的稳定可靠传输。