导航,是实现水下机器人自主化、智能化不可或缺的一环。自主水下机器人导航需要机器人获取水下环境信息,依据获取到的信息规划一条从起点到目标点的最优无碰路径,水下机器人根据该路径进行游动。传统的路径规划算法如模糊算法、神经网络等一般需要水下机器人事先知道所处环境,但一般情况下水下作业环境并不可知;另一方面,水下任务的复杂度也在不断增加,需要多个机器人相互协作完成任务,在双重因素作用下,传统的算法越来越难以满足需求。强化学习的出现,使水下机器人自主探索环境并自主学习出最优路径成为可能。在强化学习的基础上,水下机器人不需要知道所处的环境,仅仅依靠本身对环境的探索与学习便能够规划出从起点到目标点的最优无碰路径。因此,本文在强化学习的基础上,对多个自主水下机器人的路径规划问题展开研究。本课题的主要研究工作如下:(1)对一种特殊的水下机器人——仿生机器鱼——展开研究,提出一种新型结构设计方法。根据真实鱼体的尺寸数据,结合最小二乘法,对机器鱼的轮廓曲线进行拟合,得到一条拟合曲线函数。由此,设计出一种单关节机器鱼。(2)以强化学习为基础,利用模拟退火算法对算法的“探索与利用”平衡问题进行优化,对单个机器鱼的路径规划问题展开研究。提出一种基于目标导向思想的奖赏函数,并对算法的停止条件进行优化,形成一种改进的模拟退火-Q学习算法。在此基础上,分别在静态环境与动态环境下对单个机器鱼进行仿真分析。(3)在上一步的基础上,对多个机器鱼的路径规划问题展开研究。分别从动作策略与奖赏函数两个方面优化适用于多个机器鱼路径规划问题的模拟退火-Q学习算法。先后以两个机器鱼和三个机器鱼为例,分别在10?10和20?20的环境下进行仿真分析。更进一步地,以三个机器鱼为例,在100?100的环境下进行了仿真分析。(4)对所设计的机器鱼进行样机制作与调试,进行静态实验分析以验证其平衡性与密封性,对机器鱼进行直线游动实验分析,并在改进模拟退火-Q学习算法的基础上,对单个和多个仿生机器鱼的路径规划实验进行分析。