电磁波轨道角动量（Orbital Angular Momentum,OAM）具有多模式正交传输特性,为无线通信提供了一种新的模分复用（Mode Division Multiplexing,MDM）方式,是近距离视距（Line-of-Sight,LOS）通信场景的一种全新解决方案。目前,国内外学者已经在OAM信道建模、OAM产生与接收及OAM复用等方面取得了大量的研究成果;本文聚焦OAM复用通信,针对近距离LOS通信场景,开展了一系列相关研究。然而,在OAM复用通信研究方面仍面临着复用复杂度和波束发散性等问题。针对这些问题,本文将从多个角度对OAM复用通信面临的问题进行梳理,并提供相应的解决方案。本文首先对电磁涡旋波的固有特性和产生原理进行了详细阐述。其次,建模了基于均匀圆形阵列（Uniform Circular Array,UCA）的多模发射机,该模型用于仿真电磁涡旋波的幅度特性和相位特性;详细阐述了OAM的复用通信原理,对比分析了传统多输入多输出（Multiple-Input-Multiple-Output,MIMO）无线通信方案和OAM无线通信方案在LOS通信场景下信号恢复所需的运算复杂度情况。最后,建模了几种常见的电磁涡旋信号接收模型,并分析了不同接收模型对系统信道容量的影响。论文的主要研究内容概括如下:（1）针对OAM复用复杂度问题,在单用户场景中研究了基于时间开关阵列的OAM（Time Switched Array Based-OAM,TSA-OAM）复用方案。将收发端昂贵的移相器网络替换为TSA,以此降低收发端OAM复用和解复用的计算复杂度开销。设计了基于TSA的OAM产生和接收模型,给出了相应的信道容量表达式,并在多种信号接收模型下对所提方案的容量性能进行评估。仿真结果表明所提方案比传统OAM方案拥有更好的容量性能和更低的计算复杂度。（2）针对不同模式OAM传输性能不匹配问题,在多用户MIMO（Multi-User-MIMO,MU-MIMO）场景中研究了基于OAM独立模拟波束选择（OAM-Based Independent Analog Beam Selection,OAM-IABS）的无线通信方案。将平均分配给所有OAM模式的发射功率改为分配给传输性能最强的OAM模式,以提高信道容量。此外,利用不同模式间正交特性及不同子发射阵列之间的无共模干扰设置,设计了OAM-IABS方案,并提出了一种次优的波束搜索算法。仿真结果表明,所提方案能够获得比传统MU-MIMO方案更高的总速率。（3）针对非零模式OAM的高传输损耗问题,研究了基于OAM复用的物理层认证（OAM Based-Physical Layer Authentication,OAM-PLA）方案。设计了一种全新的OAM复用方式,并将其应用于PLA通信。具体来说,将传输能力最强的0-模式用于传输高数据速率需求的信息信号,将传输能力较弱的l-模式用于传输低数据速率需求的身份标签信号。此外,设计了基于PLA的OAM信号传输模型,并推导了所提方案在莱斯衰落信道下的误比特率（Bit Error Rate,BER）。由于0-模式和l-模式之间相互正交,所提方案能够有效降低身份标签在接收端对信号解码的性能影响。仿真结果表明,所提OAM复用方案能够极大降低PLA通信系统的BER。综上所述,本文针对OAM模分复用通信所面临的复用复杂度、不同模式间传输性能不匹配和非零模式高传输损耗等问题,提出了多种复用模式和解决方案,所提方案具有理论和实践意义。