电磁辐射及其相关问题的研究是物理学领域最重要的问题之一。由人工“电原子”和人工“磁原子”组成的人工结构材料以其灵活多变的电磁波操控能力为电磁辐射器件的设计提供了新的思路。本文围绕人工结构材料及其在天线系统中的应用开展了系统的理论和实验研究。首先，针对天线系统对人工结构材料的特殊要求，重点研究和发展了宽带、低损耗和表面波电磁带隙人工结构材料；其次、在研究人工结构材料与天线相互作用的基础上，探讨了人工结构材料与天线的融合方式，发展了基于人工结构材料的新体制天线系统，实现了天线性能的提升，为人工结构材料在天线中的工程应用奠定了基础。本论文的主要研究内容和结论如下：(1)宽带、低损耗人工结构材料及其在透镜天线中的应用研究。建立了宽带、低损耗人工结构材料的物理模型，通过周期性的金属柱结构实现了等离子体频率和本征频率的同时调控，实现了微波段的宽带、低损耗人工结构材料。在此基础上，采用以“十”字形金属结构为单元，工作在整个Ku(12GHz–18GHz)及Ku以下频段的人工结构材料，构建了一款宽带平板透镜天线。平板透镜利用人工材料材料对位相的控制实现了天线球面波前或者柱面波前向平面波前的转换，提高了天线增益。原理实验表明平板透镜在Ku波段能使天线的增益至少增加1.3dB，从而验证了基于人工结构材料的平板透镜能够在宽的频带内有效提高天线的增益。(2)人工电磁带隙材料及其互耦抑制研究。深入研究了在金属-空气界面上，周期性沟槽结构支持的准表面波模式，得到了沟槽结构对准表面波的调制规律。在此基础上利用周期性的沟槽构建了一种人工电磁带隙材料，证明了该材料不支持表面波传播，对表面波形成带隙。将这种人工电磁带隙材料引入天线阵面，可以切断表面波传输路径，抑制单元天线之间的互耦。初步研究结果表明：采用两个周期的沟槽结构就可以使单元天线的互耦降低20dB。(3)基于人工电磁带隙材料的双波束共口径波导缝隙阵列天线研究。利用同一个天线口径产生两个或者多个不同波束时，常规波导缝隙阵辐射单元在阵面上激励起的表面波使得波束之间产生严重的串扰，波束副瓣电平恶化。通过将人工电磁带隙材料集成到天线阵面，切断了天线单元表面波耦合路径，抑制了单元天线的互耦，进而降低了波束的副瓣电平。对比实验结果表明基于人工电磁带隙材料的波导缝隙阵在宽、窄两种工作模式下副瓣电平相对于常规波导缝隙阵列天线至少分别降低了3.6dB和0.8dB。除此之外还系统地开展了针对上述新天线结构设计、零件加工、焊接工艺和性能测试等方面的研究，为该天线在多功能雷达、通信系统中的工程应用奠定了基础。