涡旋光束是一类具有螺旋相位波前的空间结构光束。由于螺旋相位的存在,光束中心形成相位奇点,在强度上表现为一个暗核,最终在远场接收到的强度分布呈甜甜圈形状。由于光束在传输过程中围绕着中心光轴螺旋前进,因此每个光子都具有轨道角动量（Orbital Angular Momentum:OAM）。涡旋光束的螺旋相位结构和OAM特性使其在光学操控、光学加工、光通信、量子通信等领域展现了重要的应用价值。尤其在光通信领域,每个OAM模态之间的正交关系可以在增加通信容量的基础上减少信息之间的串扰,因此OAM作为一种新的调制维度在光通信领域有着重要的发展潜力。而在OAM光通信技术中,OAM模式检测技术对信息解调的效率和准确率有很大的影响,OAM模式检测作为光通信应用中的关键技术,在提升光通信容量和效率中有着重要的作用。但是在现有的线性环境下的涡旋光场检测技术中,由于设备或检测方法的原因,存在检测系统复杂、检测结果不够精确等缺点,这很大程度上限制了光通信效率的提升。空间自相位调制（SSPM）是一种有趣的三阶非线性效应,由于他的形成与光强的空间分布不均匀有关,可与光场相互作用实现对空间相位的整形,将其与涡旋光束相结合将会呈现特殊的强度分布,这为OAM模式的有效识别提供了可行的方案。因此,针对现有OAM模式检测的不足之处和SSPM的特殊作用,本文提出了新型的非线性OAM检测与通信技术,利用二维过渡金属硫族化合物（TMDs）的SSPM效应对涡旋光场进行空间相位整形,根据整形后的强度分布准确高效地识别OAM模式,并且利用TMDs构建非线性衍射器件用于OAM联合键控通信。这种方法在利用快速调控设备的基础上,弥补了检测系统复杂或检测结果不精确的缺陷,实现了准确高效的模式检测,也实现了在新型的非线性条件下的通信技术,主要工作和成果如下:1.提出了基于少层1T-Mo S2的全光开关技术,建立了SSPM的数学模型,利用SSPM计算了少层1T-Mo S2在绿光波段的三阶非线性折射系数,并设计了光控光开关系统。2.提出了一种基于少层WS2的OAM模式检测技术,通过涡旋光束在少层WS2中的SSPM实现了OAM模式的准确高效检测,并设计了强度与OAM联合调制的通信系统,实现了多进制信号的有效传输。3.提出了高斯-涡旋干涉光束在少层WS2中的SSPM及通信技术,利用高斯-涡旋干涉光束激发少层WS2中的SSPM对光强分布的非线性调控,通过设计强度-OAM联合调制通信系统实现多进制信号的有效传输。