本文主要研究了光束在非线性薄膜中传输的行为及其在光学超分辨成像领域的应用，对材料非线性参数测量的z-scan装置中存在的伪非线性现象进行理论的分析和实验改进方法，并对光束在非线性自聚焦材料和非线性饱和吸收材料中的传播行为进行描述和分析，对非线性薄膜超分辨的光学成像进行了理论和实验探索。　　介绍了广泛用于光学非线性参数测量的z-scan测量方法及其装置，并针对半导体激光器在z-scan装置测量中出现的伪非线性进行理论分析，从几何光学和高斯光学两个方面证实了样品表面有效反馈光对半导体激光器稳定性的会产生巨大的影响，最高能达到260％。针对Z-scan的伪非线性产生的原因，实验装置分别从三个方面来改善反馈光的伪非线性影响。首先针对半导体激光器自身受反馈光影响的变化特性，在半导体激光器输出镜之前加一个衰减片，通过增大半导体激光器的输出功率和减小反馈光功强度两方面来降低反馈光影响;其次，在Z-scan光路中增加光学隔离器件组，利用激光的偏振特性将反馈光尽可能的隔离出主光路从而减少反馈到激光器的光强;最后，利用数值处理方法来进一步降低伪非线性存在的可能。利用BK7玻璃样品测量的数据表明，三种实验改进方案都有效的减小了伪非线性效应，其组合使用甚至能将非线性的影响降低到0.029％。　　研究了光束在非线性自聚焦材料中的传播，在传统的利用费马原理计算自聚焦焦点的基础上引入多薄层模型考虑光束在自聚焦光斑缩小的过程中，光斑中心能量的增强带来的重新分布，以及在光强增强和光斑缩小过程中越来越明显的衍射作用，对光束在非线性自聚焦材料中的传播进行理论建模。计算该模型模拟了光束在As2S3自聚焦薄膜材料内的传播，通过利用Jaekwang Lee等人的实验参数，我们获得了和实验报道一致的自聚焦光斑，并观察到在光束自聚焦和衍射达到平衡时材料内出现的自聚焦丝。　　本文还对光束在非线性吸收材料中的传播进行分析，分别采用传统B-L模型和多薄层M-L模拟计算光束经过Sb2Te3强非线性吸收薄膜时的光束传输过程，并用实验结果验证，理论模型和实验结果吻合较好。通过比较，在B-L模型下计算误差为16％，而在M-L模型下误差仅为3.6％。　　此外，在非线性薄膜中光束传播特性的基础上，对非线性薄膜用于光学成像进行了探索性的分析和计算，从光束透过率频谱上可以看出，非线性薄膜层的存在会有效提高透射光的空间截止频率，为2NA/λ，大大提高了成像系统的分辨率，采用In作用非线性层，实验上观察到了超分辨成像。