金属微纳结构中表面等离子体激元（Surface Plasmon Polariton, SPP）模式的激发,提供了一种在亚波长尺度操控光子的有效方法,特别是微纳结构中表面等离子体激元模式的耦合效应。利用模式耦合效应不仅可以裁剪结构的光学性质,增加结构光谱的可调谐性,而且会引发许多奇异的光学现象。本论文主要围绕金属微纳结构中模式耦合特性以及相关调控机理开展研究:明确了一维和二维周期性结构阵列中波导模式在SPP辅助增强透射过程的作用机理;研究了金属-非线性电介质复合结构中耦合模增强的光学双稳特性;研究了金属-电介质多层结构中GPP（Gap Plasmon Polariton）模式和MP（Magnetic Polariton）模式的耦合特性及其色散调控;在耦合的明-暗-明plasmon共振结构中,提出了plasmonic感应透明窗口的调控机制,并设计了基于明-暗-明plasmon共振元件的开关结构。本论文主要的研究工作和成果如下:1.研究了在一维和二维周期性结构阵列中,波导模式在SPP辅助增强透射过程中所起的作用。对于金属狭缝结构阵列,利用表面阻抗边界条件（SIBC）和模态展开方法,解析地研究了其透射过程,其共振透射峰的波长由波导模的Fabry-Perot因子和衍射光散射导致的附加位相共同决定。对于金属双孔结构阵列,利用FDFD和3D-FDTD方法分析了双孔结构中波导模式的导波特性和相应的透射谱特征,研究表明波导模的隐失波特性,可增强结构上下界面SPP的耦合,导致透射峰的分裂;当波导模式被完全截止时,结构的透射增强来自于SPP的隧穿效应,透射谱上对应于单个透射峰。2.研究了SPP在金属-非线性电介质等基本结构中的色散关系,以及三阶非线性光学效应的引入对于SPP激发和耦合的影响。在非线性电介质-正弦金属光栅-非线性电介质结构中,研究了长程表面等离子体波（LRSPP）和短程表面等离子体波（SRSPP）的非对称透射谱（Fano线型）,以及非线性效应的引入对于透射谱线型、光双稳效应的影响,给出了双稳阈值强度随金属膜厚度的变化关系,表明非线性折射率变化n2Iin ¹0^-3时,结构可以实现明显的光双稳效果。在金属-非线性电介质多层结构中,研究了GPP模式耦合产生的高局域体模（BPP模式）特性以及高局域体模增强的非线性光学效应。研究表明通过激发BPP0模式可以实现6.9MW/cm²的双稳阈值,远小于利用金属-电介质多层结构的光子带隙效应得到的结果2.5GW/cm² [Phys. Rev. Lett. 99,127402 （2007）]。3.研究了金属-电介质多层结构中,传播的GPP模式与局域的MP模式间耦合行为。通过极子模型和FDFD方法,分析了模式间的耦合特性和模式分裂现象。研究表明:由于奇数阶和偶数阶MP模式不同的场对称性,在与GPP模式耦合时,表现出不同的模式选择特性,可实现耦合杂化模式独特色散特性和方向-谱吸收性质的调控。4.研究了明-暗-明plasmon共振结构中,plasmonic感应透明现象。通过暗plasmon模间的干涉效应,提出了结构感应透明窗口的调控机制。基于两个明plasmon共振元件不同空间排列导致的两种激发模式:同相和反相激发模式,设计了基于明-暗-明plasmon共振元件的开关结构。在同相模式激发下,暗plasmon模干涉相长,结构的透明窗口会得到增强,并在135度偏振角入射时,透明窗口的幅度值达到最大;而反相模式激发下,暗plasmon模干涉相消,结构的透明窗口会被抑制,并在45度偏振入射时,结构透射谱的低谷达到最低值。利用同相激发模式和反相激发模式导致的不同能量耦合行为,设计了多个明-暗plasmon共振元件的耦合结构,通过改变入射光的偏振状态,可以调控电磁能量在暗plasmon共振元件中的能量局域行为。本论文的创新点主要包括:1.基于结构调控的模式耦合特性,研究了非线性电介质-金属-非线性电介质结构和金属-非线性电介质多层结构中模式耦合及其非线性光学特性,得到了低阈值、高对比度的光学双稳效应。2.研究了金属-电介质多层结构中,GPP模式和MP模式之间的耦合效应,及其耦合杂化模式独特的色散和方向-谱吸收性质。3.提出了利用暗plasmon模的干涉效应来调制plasmonic感应透明窗口,设计了基于明-暗-明plasmon共振元件的开关结构。通过改变入射光的偏振有效地实现了结构远场透明窗口的开关状态以及电磁场局域特性的调控。