光的自旋轨道相互作用存在于所有基本的光学过程中,在现代光学中具有重要的地位,一直以来吸引了人们广泛的研究兴趣。研究亚波长结构中光的自旋轨道相互作用,可以更好地理解光与物质相互作用的机理,在精密计量、光束操控、偏振开关、偏振分束、量子信息和量子计算等领域具有广阔的应用前景。因此,研究亚波长结构中光的自旋轨道相互作用具有重要的理论意义和应用价值。本论文基于纳米粒子、亚波长天线与波导以及天线和波导复合结构,研究了光的自旋轨道相互作用,分别对光的自旋与外在轨道角动量相互作用以及光的自旋与内禀轨道角动量相互作用进行了理论研究。本论文的主要研究内容如下:研究了纳米粒子和亚波长天线结构散射场中光的自旋与外在轨道角动量相互作用,实现了散射远场的光自旋霍尔效应。基于偶极子模型,推导了椭球形瑞利粒子散射远场光束重心的解析表达式。通过对光束重心与入射光自旋态的关系进行分析,得到了实现光自旋霍尔效应的条件。将其与仿真结果进行比较,阐明了解析表达式的合理性。考虑光与椭球形瑞利粒子的相互作用,计算了作用在粒子上的光力和扭矩。结果表明,横向光力是光自旋霍尔效应的一种表现形式。为了实现增强的光自旋霍尔效应,对双各向异性天线进行了研究,发现天线的尺寸和电磁耦合是影响光自旋霍尔效应的主要因素。我们通过合理设计天线的结构实现了横向散射,并探究了入射光的角度、天线的尺寸和数量对光自旋霍尔效应的影响,计算了与光自旋霍尔效应有关的光力和扭矩。研究了天线和波导复合结构中光的自旋与外在轨道角动量相互作用,实现了波导模式的单向耦合。首先,推导了入射光的自旋态与波导模式传播方向的关系,理论分析了实现单向耦合的条件。在此基础上,设计了两种纳米天线阵列激发波导内的准TE0和准TE1模式,实现了光自旋霍尔效应。所获得的单向传输具有超高的对比度和模式纯度。此外,我们采用相反方向传播的波导模式通过纳米天线阵列解耦出具有相反自旋态的圆偏振光,实现了光的逆自旋霍尔效应。最后,提出了一种方法实现电子束运动激发具有超高模式纯度的准TE0模式,并给出了电子束运动的方向与波导模式传播方向之间的关系。利用天线阵列将波导内准TE0模式解耦到真空中,解耦光具有圆偏振态。整个过程包含逆自旋霍尔效应,实现了圆偏振切伦科夫辐射。研究了亚波长波导内部光的自旋与内禀轨道角动量的相互作用、转换及演化规律,给出了光的角动量与扭矩的关系。圆偏振光垂直入射空心金属波导时,一部分光的自旋角动量转换为内禀轨道角动量。我们推导了空心金属波导中光的角动量的解析表达式,分析并验证了波导的形状对角动量演化特性的影响。考虑光与金属波导相互作用,推导了作用在金属波导上的扭矩与光的角动量之间的关系,并得到了扭矩的演化特性。此外,研究了硅波导中光的自旋角动量和内禀轨道角动量的相互作用和演化特性,理论分析了硅波导中光的角动量与扭矩的关系。研究表明,光的内禀轨道角动量对于系统角动量守恒不可或缺。更进一步地,通过改变入射光波长与波导尺寸可以调控内禀轨道角动量占总角动量的比值。我们还设计了三段波导结构,实现了光的偏振转换,并探究了作用在波导上的扭矩,为光的自旋轨道相互作用在光子学技术中的应用提供了理论指导。