光纤通信容量的需求日益增长,而标准单模光纤的传输容量受到了香农极限的限制,空分复用成为了一种有效提高光纤通信容量的方式。涡旋光束具有相位或偏振奇点,其波前相位是螺旋形状分布。作为具有相位奇点的一种涡旋光束,具有轨道角动量(OAM,Orbital angular momentum)的模式在理论上有无限多的正交基,利用其正交性作为复用机制,可以有效地提升光纤的传输容量。在光纤中稳定传输OAM模式需要解决光纤中模式简并的问题,即把同一标量LP模式组内的矢量模式进行简并分离,获得可以在光纤中长距离稳定传输的涡旋模式。本文针对光纤中矢量模式简并分离的问题,基于对阶跃型光纤结构、空气芯光纤结构和倒抛物线折射率分布结构这三种光纤模式特性的对比分析,提出了倒抛物线环形芯结构光纤,并对其进行了系统的分析。首先,综合分析了倒抛物线型结构的纤芯层参数对模式特性的影响,在一定范围内对于LP11模式组与LP21模式组来说,矢量模式的有效折射率会随着纤芯半径的减小而依次截止,模式间的有效折射率差会在纤芯半径趋于截止的临界值附近达到最大值。模式间的有效折射率差与纤芯的倒抛物线特征参数存在复杂的依赖关系。之后,在倒抛物线型纤芯结构的外侧增加了高折射率层和低折射率层,并分析了各个参数对模式特性的影响。得到的最优参数使得该光纤结构可以实现较大的有效折射率差,同时可以保证较大的有效模场面积。在波长为1550nm处,LP11模式组的有效折射率差最高可达到7.2×10-4,LP21模式组的有效折射率差可达到3.1×10-4,有效地实现了矢量模式的简并分离。最后,利用得到的倒抛物线环形芯光纤结构仿真生成了OAM光束,计算表明其纯度可达到0.982。本文的结论对涡旋光纤的设计及制造具有重要的指导意义。