现代无线通信系统正迅速往小型化、低成本、高集成度和高性能方向发展。天线和滤波器作为无线通信系统收发前端的关键器件,通常是被独立设计的。因此,分离的天线和滤波器需要通过中间传输线进行连接,以使信号功率前向传输。引入额外的传输线将不可避免地增大系统尺寸,并且会带来一定的损耗,导致系统性能退化。为了解决此问题,两者的集成(称为滤波天线)近年来被广泛地研究。滤波天线同时具备滤波和辐射两个功能,在通带不仅能实现良好的辐射特性,而且能使增益具有高选择性和高平坦度,较以往天线有着巨大优势。天线的增益、主波束宽度、副瓣电平等关键指标也很大程度决定了整个无线系统的性能,而这些指标又会互相影响,在实际工程中需要折中设计。低副瓣是目前高性能天线阵列设计的热点和难点,较低的副瓣可以提高信噪比,减弱主波束方向外的杂波信号干扰,能够有效提高无线系统的抗干扰能力。本课题利用波导结构对滤波天线阵列进行了研究和探索。首先基于耦合矩阵理论对单阵元耦合谐振器滤波天线进行分析研究。随后通过对称地引入多路耦合谐振器,实现均匀激励八阵元滤波天线阵列,有效提升了辐射增益。进一步,为了实现低副瓣,本文创新性地提出了一种基于耦合矩阵的非均匀激励滤波天线阵列设计方法,并通过设计出一款非均匀八阵元波导阵列验证该方法的有效性。实验结果表明,八阵元非均匀波导滤波天线阵列具有优异的滤波与辐射性能,包括:高增益选择性、高增益平坦度、高效率和低副瓣。该成果适用于实际无线通信系统中,已发表在学科顶级期刊IEEE Transactions on Microwave Theory and Techniques上。作为本课题的扩展研究,为应对未来更加复杂的耦合拓扑,本文最后探索了一种基于强化学习的耦合矩阵优化方法,并通过实验验证了其可行性。