随着信息社会的不断发展,人们对大容量信息传输的需求与日俱增。无线光通信（Wireless Optical Communications,WOC）由于同时具有微波通信和光纤通信的优势,在进行高速通信的同时不受物理介质的束缚且无需频谱申请,故在应急通信、卫星通信、对潜通信等领域得到了广泛的研究与应用。涡旋光束携带的轨道角动量（Oribital Angular Momentum,OAM）模式间相互正交且模式数在理论上可取任意值;其作为新型的复用技术和高阶编解码技术,可以大幅提高WOC的信道容量和频谱利用率,已得到研究人员的广泛关注。然而,无线信道（如大气信道、水下信道）会破坏涡旋光束携带的OAM模式的正交性,导致模式间串扰。为了研究OAM在无线信道中的变化规律及OAM通信系统所受的影响,本论文将针对OAM技术在典型无线信道中的若干理论与应用,进行相关的理论推导、仿真分析和实验研究。下面对本论文的主要内容进行阐述:（1）针对弱大气湍流、弱海洋湍流信道中的OAM谱表达式较为繁琐的问题,提出针对径向指数为0 的拉盖尔-高斯（Laguerre-Gaussian,LG）光束OAM谱表达式的简化方法;推导弱大气湍流、弱海洋湍流信道中OAM谱的简化表达式,并研究其准确性规律。研究表明,在大多数情况下,简化表达式与原始表达式误差小于1%;OAM态越大、湍流强度越小,简化公式准确度越高。提出利用中间宗量x作为中间量的思路,使用简化表达式对OAM谱的变化规律进行解析分析:以弱大气湍流为例,解析分析了OAM态越大、湍流强度越大、传输距离越长、波长越短等因素导致OAM谱弥散程度越大的现象。同时,针对海洋湍流信道的特点,分析了 OAM谱弥散程度随盐度-温度平衡数、均方温度耗散率、动能耗散率等参数的变化规律。本项工作提出的简化公式较原始公式而言消去了无穷积分等复杂形式,计算量大大简化;且该公式中各变量关系较清晰,方便进行理论解析分析。（2）将弱湍流条件拓展至中强湍流条件下,推导中强陆地性大气湍流、海洋性大气湍流中LG光束的OAM谱表达式;推导中强陆地性大气湍流、海洋性大气湍流下LG光束OAM谱的简化表达式,验证其准确性。研究表明,在OAM模式较小时,简化表达式误差小于10%;在OAM模式较大时,简化表达式误差小于2%;在中强陆地性大气湍流情况下准确率随OAM态的增大而增大,但与湍流强度关系较小。解析分析OAM谱在中强陆地性大气湍流、海洋性大气湍流下随湍流强度、传输距离、OAM态、波长等参数的变化规律。（3）针对涡旋光束角向倾斜导致OAM模式弥散的问题进行研究;建立角向倾斜下的LG光束模型,推导角向倾斜下LG光束的OAM谱表达式;推导角向倾斜下的OAM谱的简化表达式并验证其准确性;研究了 OAM谱随偏移角度的变化规律,得到了发射OAM态及其串扰模式探测概率随角向偏移角度的波动规律;基于简化的表达式推导角向倾斜下OAM复用系统的误码率和信道容量表达式;基于误码率表达式推导在一定的误码率条件下角向倾斜容限表达式并验证:研究表明,发射态OAM越大、传输距离越长,角向偏移容限越小。本项工作提供了计算角向偏移下LG光束OAM谱的方法与理论依据。（4）不同于大气信道,水下信道对传输的涡旋光束的OAM模式干扰更为强烈。卷积神经网络（Convolutional Neural Network,CNN）在图像识别上对噪声等鲁棒性较高。本文针对中短距离水下无线光通信情景,提出在水下信道中使用CNN-OAM模式分类器对OAM叠加光束光强编码图样进行识别的方案。本文对该方案在海洋湍流信道中的识别率、鲁棒性等性能指标进行仿真研究;研究表明,该方案在中短距离海洋湍流信道中对OAM叠加态光强图样拥有较高的识别率;且该方案与传统共轭模OAM解法相比正确率显著提高。同时,本文在光学平台上对短距离人工模拟海水信道和短距离模拟海洋湍流信道中CNN-OAM模式分类器的可行性进行实验研究和性能分析;实验研究了短距离清澈海水、浑浊海水、模拟海洋湍流中CNN-OAM对16个OAM叠加态的不同性能变化规律;论文研究不同的OAM模式集合、OAM叠加态类型、OAM模式间隔、编码阶数等因素对识别率的影响;提出提高识别率的几种方法。（5）本文提出基于OAM编解码的逆向调制方案以提高逆向调制系统的编码阶数,并将该方案与CNN-OAM模式探测方法相结合,研究该方案在水下信道中的应用。本文利用随机相位屏的方法,仿真研究了该方案在数十米的海洋湍流信道中的识别率性能并进行图像传输模拟实验。同时,本论文在实验室光学平台上对该方案在短距离人工模拟海水和人工模拟海洋湍流信道中的可行性进行初步验证并研究其识别率性能的规律。本项工作首次提出了 OAM高阶编解码的逆向调制方案思路,为水下潜航器、水下传感器信息采集等收发端不对称的通信情景提供新的思路。