近年来,随着大数据、云计算、虚拟现实等新兴业务的快速发展,短距离光纤通信的容量负荷也在逐年上升,采用模分复用技术提升传输容量是有潜力的解决方案。在短距离模分复用系统中,为解决模式耦合导致的模式信道串扰问题,多于接收端采用多入多出数字信号处理进行均衡,这一方式会使得系统复杂度上升,成本难以负担。因此,产生了应用弱耦合少模光纤以简化或去除接收端复杂均衡模块的方案,该方案能在保证系统容量的同时降低系统成本。弱耦合少模光纤已成为短距离模分复用系统的核心组成部分。目前应用于模分复用系统的光纤存在模式信道数较少、传输距离较近、模间耦合较强等缺陷。针对以上问题,本论文对用于短距离模分复用系统的新型少模光纤进行了研究,分别提出了具有弱耦合、低弯曲损耗、大模场有效面积等多种优势的新型全反射型及光子带隙型少模光纤,能够有效提升系统传输容量、降低模式信道串扰,从而保证短距离传输的稳定性,降低系统复杂度。本文的主要工作如下:一、全反射型弱耦合少模光纤研究对弱耦合的全反射型少模光纤进行了研究,针对其模式间耦合较大、支持模式数较少,非线性抑制不够理想的问题,设计优化了支持4模式传输的弱耦合阶跃型圆芯少模光纤,该光纤可工作在C波段1550 nm附近,模场有效面积可以达到180 μm2以上,相邻传播模式间最小有效折射率差(Mode Effective Index Difference,Δneff)≈0.00055;兼顾了双包层 W 型光纤与 M 型光纤的理论优势,提出沟槽辅助M型光纤结构,并对工作在O波段,支持5模式的沟槽辅助M型光纤进行了优化。该光纤在兼顾模式数量的同时,可达到超过200m2的大模场有效面积以及较好的抗弯曲性能。该光纤能够实现模式间Δneff超过0.001的弱模式耦合,因此可简化模分复用系统中接收端的多入多出均衡模块,有效降低短距离通信系统的复杂度。二、弱耦合的色散平坦少模光子晶体光纤研究对用于短距离模分复用传输的光子带隙型光子晶体光纤进行了理论研究,利用其高双折射、可控的色度色散与极高的非线性,提出了一种色散平坦弱耦合光子晶体光纤结构,并对其进行了几何参数优化。该光纤具有最大模间Δneff超过9.0×10-3的极弱模式耦合,并可支持10个矢量模式,提升了对矢量模式的利用率。由于采用了有利于色散平坦的设计,该光纤能够达到C波段上10个模式的色散平坦,有应用于波分-模分混合复用的大容量短距离通信系统的潜力。三、弱耦合的光子带隙型少模布拉格光纤研究对弱耦合的光子带隙型布拉格光纤进行了研究,探究了一维光子晶体波导用于模分复用通信的可能性。并提出了两种支持矢量模式传输,能够有效提升模式利用率的少模布拉格光纤结构,对其光子能带和损耗性能进行了理论与数值分析:提出了能够在O+C+L宽波段工作的全固体椭圆芯布拉格光纤,该光纤能支持10个矢量模式,具有超过4×10-4的大模间Δneff、较小的束缚损耗与极低的弯曲损耗;结合同轴光纤的优势,研究并设计了弱耦合的空心同轴布拉格光纤,该光纤在C波段上的矢量模式数可提升到16个,具有极高的光纤容量与对矢量模式利用率,为一维光子晶体光纤应用于短距离模分复用传输提供了思路。四、模分复用无源光网络基础传输验证基于所设计的弱耦合阶跃型圆芯少模光纤及全光纤的模分复用/解复用器件,在无源光网络中实现了传输系统验证,并对接收端串扰来源进行了分析。在接收端测量了不同模式信道的传输功率,该系统中模式耦合导致的接收端模式串扰小于13dB;对误码率及眼图进行了测量,经过12 km的少模传输后,LP01、LP11、LP21三种模式的接收机灵敏度分别为-30.1 dBm、-28.8 dBm、-27.9 dBm左右。由于应用了弱耦合光纤,该系统中可以去除接收端多入多出均衡模块,为弱耦合光纤在短距离传输中提供了可行性。