非线性光学频率变换是扩充激光频率窗口的重要手段,而非线性光学晶体则是实现这些效应的重要功能材料。铌酸锂（lithium niobate,LiNbO₃,LN）具有优越的电光、声光和非线性等光学特性,以及从350nm到5200nm波段的宽透明度,已经被广泛应用于集成光学领域。近来,单晶铌酸锂薄膜（lithium niobate on insulator,LNOI）的出现引起了研究者极大的兴趣。亚波长尺寸单晶铌酸锂薄膜凭其光束紧束缚性以及丰富的光学特性已经被开发为一种备具前途的非线性集成光学材料平台,迄今多种高集成度、高性能的铌酸锂薄膜器件被成功制作,包括如电光调制器,微盘谐振腔,滤波器等。但是关于铌酸锂亚波长薄膜光学和结构属性以及非线性光学效应特性的物理研究报道并不多。另外,铌酸锂芯片级器件制造上较为昂贵且耗时,因此对此结构中的非线性光学相互作用和频率转换的模式色散、基本物理特性等都应进一步地探讨。同时,开拓更为高效且高精度的理论分析方法来定性且定量地分析这些结构和器件中的非线性相互作用效率是十分需要的。这些要求在当前的理论和实验工作中均是尚未能够满足的。基于这个问题,在本论文中我们针对铌酸锂单晶亚波长薄膜二次谐波产生（Second harmonic generation,SHG）问题,系统建立了一个充分考虑铌酸锂晶体介电常数和折射率双折射特性,以及各向异性非线性极化率张量的非线性耦合模理论体系。考虑的是基频波和倍频波的不同波导模间的SHG效应,涉及薄膜波导模矢量光场的复杂非线性相互作用。本文的主要内容如下:首先,我们从铌酸锂亚波长薄膜波导的电磁场理论出发,分析计算了不同厚度的铌酸锂薄膜波导中TE与TM偏振的波导模在紫外至红外整个宽频带的模式色散曲线。进而,我们系统研究了基频波导模通过SHG效应高效率转换到倍频波导模所需要的相位匹配条件。利用基频波与倍频波导模的模阶数、偏振态以及薄膜波导的厚度、对称性等物理参量的多样可调自由度,我们可以初步找到一系列模式相位匹配方案。进一步地,因为模式相位匹配往往仅发生在非常有限的分立的泵浦基频波长中,所以,在模式相位匹配前提下,从非线性麦克斯韦方程组出发,我们发展铌酸锂薄膜的非线性耦合模理论,计算有效非线性耦合系数,获得小信号和大信号条件下非线性耦合模方程的解析解,并且给出非线性频率转换效率对泵浦光的强度、偏振、波长、非线性耦合系数和晶体长度的显式解,确定最优化的模式匹配方案。我们的解析理论和公式可以极大地促进对微纳米尺寸单晶铌酸锂薄膜中非线性光学相互作用物理机制的深刻理解,并为泵浦激光的SHG转换效率提供一种更为便利的准确定量评估工具。这种解析理论同时也对微纳尺度的铌酸锂薄膜非线性光学器件的性能提升和功能创新十分有益。