玻色一爱因斯坦凝聚(BEC)是一种非线性物理现象,具有十分广泛实际用途,如芯片技术、精密测量和纳米技术等。在平均场近似下,利用Gross-Pitaevskii方程(又称,非线性薛定谔方程)来描述超低温下稀薄BEC动力学行为。这样BEC在理论上就变得比较容易处理,得到了亮孤子、暗孤子、能隙孤子、涡旋孤子等一系列孤子形式解。本论文主要研究了带有两体和三体作用下的(2+1)维的BEC中的涡旋孤子,得到一些有意思的结果。主要内容安排如下：第一章简单回顾了BEC理论提出及实验实现的发展历史过程。然后介绍根据平均场理论,从海森堡运动方程推导出描述凝聚体动力学演化的Gross-Pitaevskii方程。最后介绍BEC中的涡旋孤子的实验及理论方面的研究情况。第二章介绍理论模型(2+1)维变系数三五次Gross-Pitacvskii方程的提出背景,介绍了研究孤子稳定性的方法——线性不稳定分析和直接数值模拟。第三章详细讨论了(2+1)维变系数三五次Gross-Pitaevskii方程的涡旋解及其稳定性。首先运用相似约化的方法,得到三次非线性项、五次非线性项及外势之间的关系,同时得到静态常系数非线性薛定谔方程。通过对静态常系数非线性薛定谔方程的分析求解,我们得到在以下三种非线性项(三次非线性项对应两体相互作用,五次非线性项对应三体相互作用)和不同外势下的涡旋孤子解,具体情况如下：(1)吸引的两体-三体相互作用,分别在谐振势和消失势下的涡旋孤子解；(2)吸引的两体相互作用和排斥的三体相互作用,分别在谐振势和消失势下的涡旋孤子解；(3)排斥的两体相互作用和吸引的三体相互作用,分别在谐振势和非谐振势下的涡旋孤子解。最后利用线性稳定性分析和直接数值模拟方法研究了解的稳定性,并得到了稳定的涡旋孤子解。第四章中以时空调制的(2+1)维两体-三体相互作用旋转BEC为研究对象,得到了精确的涡旋孤子解,空间调制的非线性项图像及初始时刻时涡旋孤子的图像。第五章,对本文的工作进行总结,并对今后研究工作提出展望。