超构表面作为超构材料的二维对应物,解决了三维超构材料中加工难度大、损耗高、相位失配等问题,为实现低损耗紧凑型光子学器件提供了新的思路。通过光的几何相位调控和局域电磁增强等方法,超构表面近年来被有效地运用到了非线性光学领域,在光频转换、全光调制、非线性全息成像等方面有着极大的应用潜力。其中,金属超构表面由于其等离激元谐振的存在,能够增强局域电磁场及其光学非线性,但其存在材料本征损耗大、激光损伤阈值低、电磁场集中在材料表面等问题。介质超构表面可以克服这些问题并激励米氏谐振将电磁场束缚在材料内部来提高非线性效率,但其增强效果仍然有限。因此,需要设计混合超构表面来同时具备多种材料的优势和功能性,实现非线性光学效应的极大增强。本文利用基于机制创新的结构设计,开发了多种新颖混合超构表面,并对其中的非线性光学效应进行了研究。本文的主要研究内容如下:第一,通过引入金属衬底并灵活地调控阵列周期,依次提出了完美电导体（perfect electric conductor,PEC）镜面效应和耦合效应来双重增强介质-金属混合超构表面中的米氏电偶极子谐振（electric dipole resonance,EDR）及其三次谐波产生（third harmonic generation,THG）。数值频域和时域结果显示,双增强EDR下的THG转换效率比仅有PEC镜面效应的EDR和SiO2衬底的EDR的效率分别高3和8个量级。在增大泵浦强度的情况下,分析了描述光致折射率的硅克尔效应的影响,并在泵浦强度2 GW/cm2下获得了目前最高的理论效率约10-2。此外,讨论了时域脉冲宽度对器件的影响。第二,根据米氏电四极子谐振（electric quadrupoleresonance,EQR）的电流分布对称性,通过引入具有PEC镜面效应的底层金属薄膜,实现了介质-金属混合超构表面中EQR的镜面诱导,并获得了优秀的远场散射特性和近场增强能力。镜面诱导EQR增强后的THG效率比无PEC镜面效应的典型EQR的效率高至少50倍。考虑实际THG信号的收集,对两EQR的非线性辐射特性也进行了研究。此外,讨论了增大泵浦强度时硅克尔效应的影响,在泵浦强度3 GW/cm2下获得了最大THG效率 2.2×10-4。第三,基于anapole模式特殊的电流对称特性（至少两条对称环流）,利用金属-介质-金属（metal-dielectric-metal,MDM）混合超构表面中两金属部分产生的中间介质的虚拟镜像,激励了双重镜面诱导anapole模式。根据电anapole模式（electric anapole mode,EAM）和磁 anapole 模式（magnetic anapole mode,MAM）各自的对称特性,分别设计了两种MDM结构来实现双重镜面诱导。在双重PEC镜面效应的作用下,双重镜面诱导EAM和MAM的平均电场增强因子分别为传统anapole模式情况的9和56.9倍,并获得了更窄的线宽。第四,通过调控阵列周期,在MDM混合超构表面中引入了磁谐振（magnetic resonance,MR）和传播性表面等离激元谐振（propagating surface plasmon resonance,PSPR）的耦合效应。强耦合区域的MR可同时获得最优的电场增强、反射率和半高全宽。基于频域和时域响应,对增强光学双稳态进行了研究。具有耦合效应的器件开关阈值比无耦合情况降低了至少1个量级,并具有优秀的开关比＞4.7。此外,入射角度对器件的调谐特性也进行了分析。第五,提出了一种石墨烯-金属混合超构表面来增强人工和频产生（sum frequency generation,SFG）。为了提高人工SFG的效率,不仅使用了高载流子迁移率的材料石墨烯,还在两个基频激励双谐振来分别增强电场与磁场,形成强的磁洛伦兹力。时域和频域响应都进行了数值仿真分析,结果显示,SFG的效率比单谐振下的二次谐波产生效率高至少2个量级。此外,石墨烯参数对于SFG的调谐特性也进行了讨论。