论文部分内容阅读
随着机器人在社会生活中的广泛应用,机器人技术也成为了当前研究的热门方向。而在控制机器人移动的研究领域中的三大核心是机器人的定位、任务的分配和路径规划技术。其中,路径规划是移动机器人到达任务目标、完成任务内容的首要条件,因此研究避障路径规划具有重大理论价值与应用前景。在本文中主要研究了机器学习方法在机器人系统的路径规划中的应用,具体研究内容如下:(1)研究总结了机器人路径规划问题的相关技术方法以及研究现状,给出了在单机器人路径规划中使用强化学习方法具有的优点以及缺陷,以及在多机器人路径规划中使用单一算法存在不足。提出了多机器人系统更适合结合多种避障方法来解决问题。(2)对Q-Learning算法应用于单机器人路径规划时存在三点缺陷,逐一进行了改进:针对探索和利用的平衡问题,提出一种动态改变?的?-greedy策略。该策略依据算法学习的效果来决定是探索环境还是利用环境,使算法更加智能。针对最大化偏差问题,提出一种基于概率的动作选择策略。舍弃最大化的方法,使Q值较大的动作被选择概率更大,而不是一定被选择。从而解决了相关噪声对于算法准确度的影响,使算法更加合理。针对更新速度慢的问题,提出在算法中增加一个计数阈值,当试错次数达到计数阈值后,才进行修正,提高了算法的效率。基于上述的改进,提出了一种基于改进的Q-Learning算法的单机器人路径规划方法,并且进行了仿真实验。结果表明,该算法与改进前相比,训练时长更少,算法效率更高,并且能够解决复杂环境下的单机器人路径规划问题。(3)对DQN算法应用于多机器人系统的路径规划时存在的两点缺陷,逐一进行了改进:针对收敛速度慢的问题,提出在学习之前利用先验知识对Q值表进行初始化,减少了学习的复杂度和计算的繁琐度。针对随机性大的问题,提出增加先验规则来控制机器人在路径规划中的动作选择,能够减少无用的探索,提高算法的效率。基于上述改进,提出了一种基于先验知识与DQN的多机器人路径规划方法,并且进行了仿真实验。结果表明,该算法在多机器人路径规划中是可行的,与改进前相比,算法的收敛时间得到了减少,提高了算法的效率。