近年来,随着移动互联网的飞速发展,通信容量的需求已呈指数增长,人们对数据的传输容量提出了更高的要求。为了解决通信容量危机,新技术不断涌现,由于光纤轨道角动量（Orbital Angular Momentum,OAM）模式在空间存在正交的关系,且理论上其拓扑荷是无限的,因此,OAM光通信提供了一条潜在的解决方案。利用OAM光束作为通信系统的信息载体,已经引起了广泛的关注以及研究。OAM光通信中传输媒介是关键器件,目前OAM的传输媒介主要有自由空间和光纤两种。在自由空间光通信中,目前的传输速率可达Tbit/s量级,OAM模式数量也能达到几十个。但是OAM光束在自由空间中传输易受到大气环境变化和外界干扰,传输距离较短,能量分布发散,所以OAM在光纤中的传输是目前的研究热点。本文首先分析了OAM在光纤中传输的理论基础,设计了一种新型OAM光子晶体光纤。在普通光子晶体光纤的高折射率层与包层之间加了一层方形空气孔,然后应用基于FEM的COMSOL软件,仿真分析了光纤的各个结构参数,包括纤芯半径以及包层距纤芯中心的距离对光纤的色散、非线性系数等的影响,得到了一种模式最低色散为52ps/（nm·km）,非线性系数为1.41km^-1·w^-1的光纤结构。仿真结果表明该光纤可以传输54个OAM模式,其模式间有效折射率差可达到3.45×10^-3,能够有效减小矢量模之间的简并;同时又由于光子晶体光纤的结构特点,光纤结构可灵活设计,从而有效降低模间串扰。相比于现存的光纤通信中OAM模式的传输,该光纤中传输的OAM模式数量和模式特性均有提升,在提高传输容量方面具有很大潜力。