超冷原子气体具有体系纯净、相互作用可控、自由度丰富等特点,它是研究物质量子特性的理想体系。自1995年在碱金属气体中实现玻色-爱因斯坦凝聚体（BEC）以来,其各方面物理的特性和应用前景得到了广泛研究,特别是对涡旋态玻色-爱因斯坦凝聚体的研究贯穿始终。产生涡旋态物质波的技术不断创新,例如利用磁场转动、激光束“搅动”、磁场拓扑相位刻印、涡旋光拉曼转移轨道角动量、光场相位刻印等方法。涡旋态凝聚体对于研究拓扑量子态,例如斯格明子、涡旋-反涡旋对、条纹相等具有重要意义;同时,玻色-爱因斯坦凝聚体的相干性对于人们研究物质波干涉现象提供了很好的平台,科学家们利用玻色-爱因斯坦凝聚体的外部动量态、或内部自旋态的布居数,制备出了物质波干涉仪,从而可以测量物质波的相对相位,并能够以较高分辨率测量磁场、转动、相互作用等物理参数。作者在攻读博士学位期间,以87Rb玻色-爱因斯坦凝聚体为研究对象,对自旋-轨道角动量耦合及其基态相图、非绝热过程中的涡旋态物质波干涉仪和轨道角动量叠加态的BEC三个方面进行了实验研究。论文主要成果概括如下:第一、解决了高阶角动量涡旋光场耦合超冷原子气体的关键技术。包括光纤光偶极阱的搭建,参数可控的涡旋光的制备以及高阶角动量涡旋光的像差校正等。在绝热实现自旋-轨道角动量耦合的基础上,探究了基态耦合的相变过程,沿着不同的双光子失谐量和拉曼耦合强度的扫描路径观察到了相变过程,并对相变边界进行了标定。接着,在此实验平台上通过相关实验技术改进了实验系统的稳定性,优化了实验结果:一,设计搭建了光纤传输的光偶极阱,将BEC在光阱中的平均抖动降低到2.5 μm以下,提高了双光子拉曼过程的重复性;二,利用空间光调制器产生了相对相位、相对幅度以及角动量量子数可控的涡旋光,并利用像差矫正技术避免了高阶角动量涡旋光的劈裂,成功制备出角动量量子数为2的涡旋光。第二、建立了相位锁定的无损涡旋物质波干涉仪。在玻色-爱因斯坦凝聚体的自由膨胀过程中,利用8.8 G的磁场产生的二阶塞曼效应,选取了 87Rb超精细基态上的一对磁子能级作为赝自旋态,利用一对同向传播的拉盖尔-高斯光束作为拉曼光,通过光学拉曼过程和射频过程结合的方法,在25 ms的时间飞行（TOF）过程中实现了 Ramsey构型的涡旋物质波干涉仪。理论上给出了“无损”干涉仪的数学描述,并在实验上通过定量分析玻色-爱因斯坦凝聚体干涉条纹的拓扑结构、空间取向角等信息证明了该干涉仪“无损”的特性不取决于与角动量量子数、TOF时间等参数。强调了“无损”关系对涡旋物质波干涉仪的必要性。初步设计了测量磁场的方案,给出了演化过程中拉莫尔进动导致的干涉仪转动与对应磁场的定量关系的数学描述,结合初步的实验测量结果,预估了干涉仪测量磁场的灵敏度。第三、制备了轨道角动量叠加态的BEC。利用空间光调制器,结合像差矫正技术,制备了多种轨道角动量组合的两组分轨道角动量叠加态的涡旋拉曼光,并通过非绝热拉曼过程将叠加态转移到BEC。理论上分析指出转移过程中叠加态的涡旋光和涡旋物质波中的参数有确定的对应关系,并在实验上定量分析了角动量相位比例、角动量相位差以及叠加态的角动量量子数组合,证明了该对应关系,说明了该叠加态的轨道角动量的相对幅度、相对相位以及角动量量子数等参数是完全可控的。进一步,实现了三组分轨道角动量叠加态BEC的制备,观测到三组分叠加态BEC随着三个角动量组分的比例变化发生拓扑结构变化的现象,利用该现象证明了三组分叠加态的存在。指出了该系统可以实现更多组分的角动量及更高阶角动量量子数的叠加态的制备。声明了该工作对于将量子比特和高维量子比特用于量子存储以及在BEC中模拟多进制量子计算等应用方向打下了基础。