空芯波导由于其空气芯子结构,具备若干传统实芯波导所不具备的光学性质,并成为一个十分独特的光波导类型。空芯波导为大容量高速通信系统、传感系统、中红外/太赫兹(Terahertz,THz)系统、高功率激光传输等领域的发展开启了一扇新颖的大门。空芯波导的芯子折射率为1,而自然界中常见介质的折射率高于1、且金属波导表面的损耗系数非常高,因此空芯波导的导光机制往往不同于常见固体实芯波导所采用的全反射原理。为将电磁波束缚在低折射率芯子中传输,空芯波导的包层需采用新型材料或特殊结构设计。本文利用金属丝型双曲线超材料和带隙结构作为波导包层,针对用于THz辐射单模操控、THz波段以及光通信波段轨道角动量(orbital angular momentum,OAM)传输的新型空芯波导,开展了一系列深入的理论、仿真与实验研究。归纳本文取得的主要创新成果如下:1、提出了一种基于金属丝双曲线超材料包层的空芯波导结构。通过联合运用解析公式和数值模型,该波导的双曲线超材料包层反射横磁(transverse magnetic,TM)偏振波,而透射横电偏振波,即该波导仅支持TM模式在波长尺寸的空气芯子中稳定传输。与传统金属型THz波导相比,双曲线超材料波导的单模工作窗口扩大了一倍以上;与目前常见的介质型多模THz波导相比,双曲线超材料单模波导的芯子尺寸降低为波长量级。数值模型仿真结果显示,双曲线超材料包层中仅需一圈金属丝即可有效实现TM模式的传输,大大简化了波导制作工艺;2、根据金属丝双曲线超材料的特殊光学性质,优化、制作并实验测试了一种宽带、单模、径向偏振的空芯THz波导。通过数值仿真,该波导的单模传输窗口是介质镀膜金属波导(相同芯子尺寸)的2.3倍。径向偏振TM模式在单模传输窗口频率范围内的传输损耗可低至0.28dB/cm。通过使用THz时域光谱系统,制作的波导在0.31-0.44THz内支持波长尺寸(芯子直径0.88mm)单模传输。采用透射谱测试、近场模式成像两个实验验证了金属丝包层在单模窗口内仅反射径向偏振的TM模式,与理论结果吻合;3、通过在金属丝双曲线超材料包层中对称地将部分金属丝替换为空气孔,提出并分析了一种线偏振、单模空气孔/金属丝混合包层空芯THz波导。通过优化设计,混合包层波导在单模、单线偏振窗口(0.36-0.46THz)内的传输损耗为0.27dB/cm左右,且与其它泄漏模式损耗的比值低至10-2量级。由于双曲线超材料对波长尺寸芯子(芯子直径1mm)中TM模式的强束缚能力,当弯曲半径高于5cm时,波导在0.4THz的弯曲损耗低于0.3dB/cm。波导支持的低损耗线偏振模式可直接通过常用的高斯光束激励,耦合效率高达67%,为径向偏振模式耦合效率的两倍以上;4、提出并研究了 OAM在空芯THz波导中的传输性能。着重分析了 Kagome空芯THz波导中的高阶模式与OAM模式。仿真结果显示,在0.2-0.9THz频率范围内,Kagome波导具有两个反谐振传输窗口,并可支持共三阶OAM模式。在第二个反谐振窗口内(0.6-0.85THz),OAM模式的纯度均高于0.9。通过比较波导包层中Kagome结构的层数,分析了波导的束缚能力对OAM模式纯度的影响。另外,讨论了介质镀膜金属THz波导和布拉格空芯THz波导中OAM模式传输的特性,并提出了以上两种THz波导在OAM应用中存在的局限性;5、讨论了空芯光子带隙光纤(hollow-core photonic bandgap fiber,HC-PBGF)用于光波段OAM模式传输的可行性。利用数值仿真研究了不同芯子,尺寸HC-PBGF中高阶矢量模式和对应OAM模式的传输性能。对于7芯HC-PBGF,一阶OAM模式低串扰(有效折射率差高于10-4)、低损耗(小于3dB/km)传输带宽可达到240nm(1500-1740nm),且在1710nm处OAM模式纯度可达0.952。在19芯以及37芯HC-PBGF中,随着芯子尺寸的增大,传输损耗降低、OAM模式数量增多、纯度升高,但抗串扰性能降低。分析了非圆对称芯子结构对OAM模式的影响以及模场面积对OAM纯度的影响。此外,讨论了 OAM传输对光纤制作工艺的敏感性。