论文部分内容阅读
近几年,海洋资源及海洋权益受到人们广泛的关注,AUV作为智能的自主式水下航行器得到了极大的发展。在AUV相关技术中,任务规划是其重要的组成部分,任务规划的结果将直接影响任务完成程度及AUV自身安全。针对AUV的任务规划技术,分别从体系结构设计、航路规划及多目标点探测任务规划进行研究。为提高海底探测型AUV的智能性及自适应性,完成了“橙鲨”AUV自学习体系结构设计:结合强化学习思想设计学习进化单元,使AUV可以通过和环境交互的方式,提升执行器输出结果的准确性,使AUV不断地在学习过程中提升智能化水平。加入了学习监督单元的设计,可根据AUV所处环境复杂度的不同及学习进程,在线动态调整动作选择策略,使该策略可以更好地和环境相契合,加快学习过程。设计任务分层及重规划单元时,加入了环境空间分层模块设计,通过对作业环境的分层得到不同层次的子任务,重规划模块则根据受突发状况影响的子任务进行任务重规划,提高了规划的精准性、时效性。结合上述单元,完成了“橙鲨”AUV自学习体系结构框架设计。为解决AUV全局航路规划问题,Q学习模型可以提高AUV的智能水平及规划的合理性,但其中的探索-利用平衡问题影响着规划结果的好坏,探索不足将导致陷入局部最优解,过度探索将降低学习效率。为解决上述问题,提出环境复杂度评估的自适应Q学习方法。通过对环境复杂程度的评估,可以更好地确定探索-利用平衡策略,在规划过程中,根据实际情况不断调整策略,避免陷入局部最优解,加快算法收敛,加快航路规划。为解决路径优化问题,提出了最佳切入角的数学模型,提高了光顺后的航路的合理性及安全性。为解决AUV多目标点探测任务规划时,现有算法计算量较大、规划时间较长的问题,提出区域划分的分层Q学习算法,将环境状态空间根据目标点所在区域进行划分,得到相应子区域及子任务,将复杂任务转换成较简单的子任务序列,减少了规划的计算量及时间,提高了规划效率。为解决航行过程中目标点突变问题,提出局部代价最小区域模型,设计了在线动态重规划方案,提高了规划的时效性,完成了 AUV多目标点探测任务的航路规划及重规划工作。最后,结合实际海岛环境对提出的学习模型进行评估,结合“长岛”环境进行自适应Q学习模型的仿真实验,采用“长海”环境进行区域划分的分层Q学习模型的仿真实验。通过对仿真结果的分析,验证了提出的学习模型可以优化任务规划的结果,并且能够提高任务规划的效率。