目前，随着激光技术和微加工技术的迅猛发展，分数傅里叶变换（FrFT）作为一种新的研究工具在光学、光通信等领域迅速得到应用；同时，纳米光子技术作为当前光子学领域里面的研究热点之一，它在非线性光学、光存储及光通信器件等领域具有广阔的应用前景。基于此，本文主要研究一些复杂光学系统中光束的传输变换及光波的传输特性，主要包括以下内容：　　第一章为绪论，主要概述了光束的传输变换与表面等离子体光子学的研究背景、基本理论及其主要应用等，介绍了论文采用的数值计算方法，并指出了全文的结构安排、研究内容和创新点。　　第二章，基于广义惠更斯-菲涅耳衍射积分公式，并采用将硬边光阑函数展开为有限项复高斯函数的方法，通过较复杂的数学运算，推导并研究了合流超几何(HyG)光束通过环形光阑约束光学系统的光场分布及其传输特性。作为特例，本章还给出了HyG光束通过圆孔光阑和圆屏光阑约束光学系统传输的近似解析解。计算结果表明，本章采用的近似解析公式计算所得结果与直接数值积分结果一致吻合，且能大大提高计算效率。　　第三章，根据FrFT的定义和复高斯函数展开方法，分别导出了空心双曲正弦高斯（HsG）光束和贝塞尔高斯（BG）光束通过理想的或有光阑约束FrFT光学系统传输的解析表达式，并进一步研究了其传输特性。数值计算和研究结果表明，通过适当地选择FrFT的光学参数（如：分数阶数、截断参数等），可以控制光束通过FrFT光学系统的光强分布。特别的是，当截断参数较小时，透镜的光阑效应不能忽略，光阑的大小会对归一化光强分布有很大的影响；当截断参数较大时，光阑的衍射效应可以忽略。　　第四章，利用麦克斯韦方程在边界面上满足的连续性边界条件，分析了几种简单异质结构波导中表面等离子激元模式的色散及模式耦合特性。在此基础上,构建了一种新的较为复杂的等离子波导光学系统,并利用等效模型的方法获得了该波导的色散曲线,结果表明多条模式可以局限在空气芯层中进行传输。　　第五章，利用时域有限差分(FDTD)方法，设计了一种简单易制备的硅基波导衬底亚波长光栅结构系统，并研究了光波在该系统中的传输特性。数值计算和理论研究结果表明，在横电（TE）波垂直入射的条件下，由于Fano共振及金属光栅表面等离子体激元与硅基波导模式的杂化耦合，导致了传输效率的极大增强（>80％），具有超透射的新奇现象，并伴随着群速度为0.005c的慢光效应。　　第六章，从经典量子光学的理论出发，比较分析了不同光学系统中的电磁诱导透明（EIT）现象及其物理机制，并构建了由金属纳米棒和硅光栅波导组成的复杂光学系统。通过FDTD仿真研究发现，该系统在入射光波的作用下，发生了类量子光学中的EIT现象，并伴随着慢光效应。有趣的是，在结构对称性被破坏的条件下，发生了双重类EIT现象，并在保持较高传输效率的同时，其群指数得到了显著提高，达到2593。　　最后，对论文工作进行了总结和展望。