随着大数据时代的到来以及物联网的快速发展,人们对无线通信的速率需求迅猛提升。为了提升无线通信的速率,在过去几十年里,极化复用、正交频分复用等复用技术被提出并日趋成熟,如何进一步提升频谱利用率是人们目前迫切希望解决的问题。而基于轨道角动量复用的涡旋电磁波可以提高频谱利用率,增加信道容量,因此成为电磁领域和通信领域的一个研究热点。本论文以基于轨道角动量的涡旋电磁波为研究背景,主要对涡旋电磁波通信系统以及基于轨道角动量模式复用的涡旋电磁波天线进行了研究。本论文主要内容包括:首先,介绍了涡旋电磁波的研究背景、意义以及国内外研究现状,系统回顾了涡旋电磁波的发展过程,并且总结了本论文的主要工作、内容安排以及主要创新点。其次,对轨道角动量和涡旋电磁波的基础理论进行了归纳和总结,给出了其详细推导过程,重点解释了其物理意义。在这些工作的基础上,详细介绍了涡旋电磁波无线通信系统的各个组成部分,包括:涡旋电磁波的产生、传播以及接收解调。重点描述了涡旋电磁波的产生以及接收解调方法,并且对当前涡旋电磁波产生、传播以及接收解调中遇到的问题进行了分析。再次,从单模圆极化圆形贴片出发,本文提出了基于多种轨道角动量模式复用的多模圆极化涡旋电磁波贴片天线。该天线包括三个贴片:一个中心圆形贴片用来产生圆极化TM11模,两个短路环形贴片分别用来产生圆极化TM21模和TM31模。详细地对该天线进行了理论分析,给出了圆极化贴片天线电场数学表达式,并得出结论:对于TMnm模式的圆极化贴片天线,其可以产生n-1阶轨道角动量模式的涡旋电磁波,因此整个多模圆极化贴片天线可以同时产生三种轨道角动量模式,同时通过改变天线的极化状态还可以改变轨道角动量的模式。给出了所设计的多模圆极化涡旋电磁波天线的仿真以及实验结果,进一步验证了该天线的原理。然后,创新性地将全息人工阻抗表面用于涡旋电磁波的产生,本文设计了基于全息人工张量阻抗调制表面的全息涡旋电磁波天线,这是全息人工阻抗表面第一次用来控制轨道角动量。系统地介绍了微波全息以及全息人工阻抗表面的基本原理,给出了全息人工阻抗表面的设计流程,包括标量以及张量等效表面阻抗的提取、标量以及张量全息阻抗调制的过程等。同时,以携带l=1轨道角动量模式的涡旋电磁波的全息涡旋电磁波天线为例,详细给出了其设计流程以及仿真结果,分析其仿真结果可以得出结论:全息人工张量阻抗表面能够用来控制轨道角动量。最后,归纳总结了全文工作,并对下一步将要继续的研究工作进行了展望。