具有不同轨道角动量模的涡旋光具有正交性,且轨道角动量理论上可取无限大,因此基于轨道角动量复用的涡旋光无线通信可显著提高通信系统的信道容量。但涡旋光束在传输中受到湍流的影响,引起光束扩展、轨道角动量弥散等现象,使光束轨道角动量模之间产生串扰,降低无线光通信系统的性能。因此,研究湍流环境下轨道角动量模之间的串扰,提高涡旋光束的抗湍流能力,以及减小湍流对通信系统的影响是十分重要的。本论文从光束类型、光束参数以及湍流参数等角度,采用理论模型与数值分析相结合的方法,利用轨道角动量谱研究光束及湍流对无线光通信的影响,提高了无线光通信的性能。本论文的创新内容主要分为以下三个方面:1.以拉盖尔高斯光束作为载体,研究柯尔莫戈洛夫大气湍流对轨道角动量谱的影响。推导了拉盖尔高斯光束轨道角动量模的概率密度通式,建立在柯尔莫戈洛夫湍流大气中传输的理论模型。通过分析束腰宽度、波长、拓扑荷以及径向指数对优美拉盖尔高斯光束和标准拉盖尔高斯光束在柯尔莫戈洛夫湍流大气中各轨道角动量模的接收概率的影响,得到能够提高拉盖尔高斯光束抗湍流干扰能力的光束及其参数选择方案,即具有较小束腰宽度和径向指数、较大波长和拓扑荷的优美拉盖尔高斯光束受湍流干扰较小,更适合在大气中传输。2.建立了完美涡旋光束在非柯尔莫戈洛夫大气湍流中的轨道角动量谱模型,分析了湍流参数和光束参数对完美涡旋光束轨道角动量谱的影响。通过结果发现内尺度和功率谱指数较大的湍流对完美涡旋光束影响较小;较大波长能够提高光束的抗湍流能力。研究了传输距离与接收孔径半径对轨道角动量模的信号概率的影响,选择最优的参数搭配方案降低光通信系统中的湍流效应。研究表明对于不同的传输距离,均对应最佳的初始束腰宽度和接收孔径半径使信号概率达到最大值。3.基于海洋湍流中球面波的空间相干长度,建立了隆梅尔光束轨道角动量模的接收概率模型,研究了海洋湍流对水下无线光通信的影响。通过分析轨道角动量模的信号概率和串扰概率,讨论了海洋湍流的特征参数及光束参数对隆梅尔光束模式串扰的影响。结果表明,隆梅尔光束适合在温度与盐度的比率和温度方差耗散率较小以及动能耗散率和内尺度较大的海洋湍流中传输;选择绝对值较小的非对称参数和较大波长的隆梅尔光束能够提高在海洋中的鲁棒性,降低海洋湍流对无线光通信的干扰。