随着用户流量对宽带业务需求的不断增长,通信速率被不断提出更高的要求。作为数据接入网的主要技术,光载无线通信和相干光通信分别为无线移动终端和光纤宽带业务等提供了技术支持。光载无线通信作为一种将无线信号调制到光波边带上实光纤中的远距离传输的方案,实现了射频信号在光纤和无线端的无缝融合和灵活切换,解决了长距离无线传输的高损耗问题,并大大提升了系统的通信容量。相干光通信技术则采用平衡探测的信号解调方式,该类系统具有更高的灵敏度和更大的通信容量。经典光通信系统主要采用波分复用和光时分复用等光学复用技术实现扩容,现有技术对通信容量的提升已经接近瓶颈,在通信速率需求不断增长的形势下,探寻和研究新的光学复用维度已经成为进一步大幅度提升系统容量的关键。空间结构光束作为一种携带多样化的正交模式的奇点光束,不占用额外的光学带宽和频谱资源,可以作为一种正交于光的波长和偏振等的新型物理维度来实现空间光学复用/解复用,应用于复用通信的结构光束有携带轨道角动量模式的涡旋光和携带偏振阶数的柱矢量光等,主要有基于自由空间和OAM光纤或少/多模光纤传输信道的研究。结构光可被应用于经典光载无线系统和相干光通信系统,大幅度地提升光通信系统的容量。目前结构光在光载无线系统中的应用研究较少,尤其是柱矢量光在高频毫米波段无线系统中的研究。在基于轨道角动量光束的自由空间通信中,光束螺旋型相位容易受到大气湍流的干扰而阐述畸变,导致通信系统光信噪比下降和传输稳定性变差。本论文针对以上两个问题,主要采用理论分析结合实验验证的方法,首先研究了柱矢量光束在光载无线通信系统的传输;此外还研究了相干光通信系统中,采用信道估计技术增强多模轨道角动量光束对大气湍流的抵抗性。对本论文的具体工作及其创新点阐述如下:（1）实验研究了相干光通信系统中单载波QPSK信号和多载波QAM-OFDM信号的发射、传输和接收。本工作设计了一个可以传输单载波和多载波信号格式的相干光通信实验系统,分别实现了速率为25Gbaud的QPSK信号和12Gbaud的QAM-OFDM两种信号格式的有效传输。在该工作中,结合实验结果,对信号离线数字信号处理流程比如时钟同步、频偏/信道估计以及相位恢复等进行了分析,并研究了信号的误码率和错误矢量幅度值随着信号光信噪比的变化。（2）提出并实验验证了一个基于柱矢量光复用的100-GHz光载无线通信系统。本工作采用分别携带速率为6Gbit/s的QPSK-OFDM信号的多模柱矢量光束进行复用,实现了对“自由空间—无线”和“自由空间—少模光纤—无线”两种光载无线通信系统的研究。在该工作中,将柱矢量光的多模复用应用在经典高频光载无线通信系统,线性倍数地提升了系统容量,解决了光载无线系统对应的高频毫米波段容量提升遇到的瓶颈问题。此外,产生和解复用柱矢量光束所用的电解质PB相位超表面具有q参数可调和C-L的宽工作波段以及超过85%的高工作效率等特性,可以与高频毫米波的宽光学边带进行完美兼容。（3）提出并实验验证了一个采用ISFA技术抵抗大气湍流的自由空间OAM复用通信系统。本工作采用分别携带不同QAM-OFDM信号的多路OV光束,实现了一个自由空间轨道角动量复用通信链路,通过在空间光调制器上进行不同相位屏的加载和切换,实现了不同强度和传输距离的大气湍流相位屏的加载和切换的产生。在该工作中,主要采用符号内频域平均技术对随机湍流信道噪声响应进行抑制,较大程度地提升了通信系统的灵敏度。与采用光学方式来实现湍流带来的噪声补偿方案相比,本工作采用在数字频域内直接对受大气湍流损伤的信号进行处理,实现起来更加直接。同时该方案能够兼容于光学补偿方案,从而促进噪声补偿效果的进一步优化,对湍流强度和传输距离的容忍度较高。