水下滑翔蛇形机器人是一种结合了水下滑翔机和仿生水下蛇形机器人的新型仿生机器人。正是由于这种结合,使其既具有水下滑翔机低能耗、低噪音的滑翔步态,又具有仿生蛇形机器人机动性好、动作灵活的蛇形步态。但是由于存在未知的水动力学模型,大多数基于模型的控制器或者线性的PID控制器都无法有效地解决水下机器人复杂的控制问题。为此本文选用了一类不基于模型的强化学习算法来进行控制策略的自动学习。利用强化学习算法对水下滑翔蛇形机器人通过浮力变化控制的三种滑翔运动进行了研究,实现了该机器人的浮力控制,并通过算法的改进加速了策略函数的训练过程。为了实现利用强化学习算法对水下滑翔蛇形机器人的滑翔运动进行有效训练的控制策略。首先为方便水下滑翔蛇形机器人控制策略的训练而搭建了强化学习专用的虚拟环境,该虚拟环境包括不精确的水动力模型和强化学习算法的必需接口,并编写了二维的可视化界面。研究了水下滑翔蛇形机器人控制和强化学习算法有效结合问题,对机器人控制中的状态、动作和反馈信息分别找到了在强化学习中的对应要素,并对强化学习算法的要素分别进行了提取和生成,针对普通的生成方法会遇到的特征可观测问题、“维数灾难”问题和实际器件的应用问题分别对强化学习的状态特征进行了单独设计,并加入了一些启发式函数来对强化学习的奖赏函数进行改进,加速了控制目标的实现。在该机器人利用浮力控制方法实现滑翔运动的过程中,针对算法的通用性和收敛性问题,先后采用了基于值函数迭代和直接策略迭代的强化学习算法,通过两类算法的仿真实验得出了直接策略迭代算法在该机器人的浮力控制中更实用的结论。对直接策略迭代的方法选择了经典的蒙特卡洛策略梯度法,并对算法进行了两阶段的改进。首先对该算法中的策略函数使用神经网络来拟合,并对状态输入进行了预处理,提出了预处理的蒙特卡洛策略梯度法,并通过仿真实验中算法的训练效果得出了预处理的蒙特卡洛策略梯度法可以加速算法的收敛性,并改观状态不完全观测所带来的问题;后来为了使得该算法能有更好的通用性,又结合长短期记忆单元的循环神经网络,提出了循环蒙特卡洛策略梯度算法,通过对实现三种滑翔动作的算法训练,证明了该算法使得控制策略更接近一个马尔科夫决策过程,训练速度大幅提升,并对三种滑翔动作都取得良好的效果,验证了新提出的循环蒙特卡洛策略梯度法的有效性。