涡旋光束(Optical Vortices, OV)是一种拥有轨道角动量(orbit angular momentum,OAM)的光束,对应于不同的方位角指数,其拥有无限多个本征态,而且各个本征态之间相互正交。故理论上涡旋光束可以承载无穷多比特的信息。这些特性使得OAM技术能够应用于空间光通信系统中以提高通信容量。然而,OAM光束对接收系统的对准精度要求极高,出现横向或者角向偏移都会使得OAM模式产生扩展,使得信号信噪比降低,进而降低了通信系统的性能。因此,将涡旋光束应用到空间光通信系统中,需要解决光束质心的偏移,以及光束尺寸与接收端孔径失配等问题。本文通过深入研究涡旋光束质心定位相关问题,提出了改进算法,并分析了算法的性能。主要工作和成果如下:(1)建立了 OAM空间光通信系统模型,分析了捕获跟踪对准系统(Acquiring Pointing Tracking,ATP)系统以及大气湍流对涡旋光束传输特性的影响。(2)针对ATP系统中光束质心偏移修复问题,提出了一种改进的光束质心检测算法,并仿真研究了自由空间和中等强度湍流信道中算法的性能。仿真结果表明,改进算法与一阶矩质心法相比,精度高1～2个数量级,稳定性高2～4个数量级,耗时高1.5倍。(3)研究了 ATP系统中的光束束宽和接收系统孔径的适配问题,设计了实现拉盖尔高斯光束(Laguerre-Gaussian, LG)束宽控制的双透镜光学系统方案。仿真实验表明通过该设计方案得到的双透镜光学系统能够达到孔径适配的条件,并能够提高光束质心算法的性能。