自由空间光（Free-Space Optical,FSO）通信具有通信容量高、抗电磁干扰能力强、保密性好等优势。在FSO通信系统中,不断提高数据传输容量、分析并降低由于大气湍流对信息传输造成的干扰、不断优化通信系统中的各部分结构来提高通信能力具有重要的研究意义。本论文围绕轨道角动量（Orbital Angular Momentum,OAM）光束在FSO通信系统中的应用展开研究,主要研究内容如下:第一部分,建立在大气湍流环境中OAM光束通过卡塞格伦（Cassegrain）天线传输的计算模型。利用该模型推导了拉盖尔-高斯（Laguerre-Gaussian,LG）光束通过卡塞格伦发射天线的衍射场、LG光束通过卡塞格伦天线后在大气湍流中传输的平均场强和在接收平面处不同OAM模式概率密度的精确解析函数。提出利用卡塞格伦天线传输LG光束可以有效降低由于大气湍流影响造成的不同OAM模式之间的串扰。同时LG光束具有光场环形分布的特性可以解决卡塞格伦天线次镜遮挡造成的能量损失问题,有效提高卡塞格伦天线的传输效率。第二部分,利用矢量反射理论计算平行光束通过卡塞格伦天线的二维（Two-Dimensional,2-D）和三维（Three-Dimensional,3-D）光线追迹结果。研究贝塞尔-高斯（Bessel-Gaussian,BG）光束通过卡塞格伦光学天线后在自由空间中的传输轨迹以及在受到大气湍流干扰后不同OAM模式之间的串扰。提出通过调节光学系统参数和BG光束半锥角可以控制光束在自由空间中的传输轨迹和受大气湍流影响后不同OAM模式之间的串扰,BG光束传输通过准直光学系统后会发生聚焦现象,而传输通过聚焦光学系统后会发生聚焦或二次聚焦现象。研究表明具有聚焦特性的BG光束可以降低由于大气湍流影响造成的不同OAM模式之间的串扰。第三部分,提出利用聚焦透镜组有效提高空间光-光纤耦合效率的方法。研究了高斯涡旋光在传输过程中受到大气湍流影响后耦合进入单模光纤和抛物线型光纤的耦合效率。分析了聚焦透镜组焦距对光纤耦合效率的影响,计算结果表明通过增加聚焦透镜组并改变聚焦透镜组的焦距可以灵活且有效的提高特定传输距离和不同大气湍流强度下的空间光-光纤耦合效率。第四部分,提出两种适用于FSO通信系统的新型光纤结构。具体设计了具有混合包层的非对称大模场抗弯曲光子晶体光纤（Photonic Crystal Fiber,PCF）和具有两种光纤背景材料能够有效传输OAM模式的空心光子带隙光纤（Hollow-core Photopnic Bandgap Fiber,HC-PBGF）。利用有限元法仿真计算了不同光纤结构参数下,该新型PCF的弯曲损耗和有效模场面积（Effective Mode Area,EMA）。研究结果表明在弯曲半径为10 cm且弯曲取向角为±100°时,该PCF的基模弯曲损耗为0.0113 d B/m,EMA大于1000μm~2,该PCF可以应用于高功率光纤激光器。此外,通过采用两种光纤背景材料及光纤中心空气孔环形排列的方法设计了一种新型HC-PBGF,在波长取值为1.3μm～2.0μm的范围内研究了该光纤的限制损耗和有效折射率,研究表明该HC-PBGF可以传输至少48个OAM模式且光纤限制损耗低于10-7 d B/m,这一新型光纤可以有效提高通信传输容量。本论文建立了OAM光束通过卡塞格伦天线并在大气湍流中传输的计算模型,利用OAM光束中心光强强度为零的特性有效解决卡塞格伦天线的次镜遮挡问题,研究了OAM光束在传输过程中受到大气湍流影响后的传输特性,提出降低不同OAM模式之间串扰的方法,提出提高空间光-光纤耦合效率的有效方法,并设计了适用于FSO通信系统的新型光纤结构。