基于强化学习的AUV任务规划技术研究

来源 :哈尔滨工程大学 | 被引量 : 0次 | 上传用户:wanglx199085
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近几年,海洋资源及海洋权益受到人们广泛的关注,AUV作为智能的自主式水下航行器得到了极大的发展。在AUV相关技术中,任务规划是其重要的组成部分,任务规划的结果将直接影响任务完成程度及AUV自身安全。针对AUV的任务规划技术,分别从体系结构设计、航路规划及多目标点探测任务规划进行研究。为提高海底探测型AUV的智能性及自适应性,完成了“橙鲨”AUV自学习体系结构设计:结合强化学习思想设计学习进化单元,使AUV可以通过和环境交互的方式,提升执行器输出结果的准确性,使AUV不断地在学习过程中提升智能化水平。加入了学习监督单元的设计,可根据AUV所处环境复杂度的不同及学习进程,在线动态调整动作选择策略,使该策略可以更好地和环境相契合,加快学习过程。设计任务分层及重规划单元时,加入了环境空间分层模块设计,通过对作业环境的分层得到不同层次的子任务,重规划模块则根据受突发状况影响的子任务进行任务重规划,提高了规划的精准性、时效性。结合上述单元,完成了“橙鲨”AUV自学习体系结构框架设计。为解决AUV全局航路规划问题,Q学习模型可以提高AUV的智能水平及规划的合理性,但其中的探索-利用平衡问题影响着规划结果的好坏,探索不足将导致陷入局部最优解,过度探索将降低学习效率。为解决上述问题,提出环境复杂度评估的自适应Q学习方法。通过对环境复杂程度的评估,可以更好地确定探索-利用平衡策略,在规划过程中,根据实际情况不断调整策略,避免陷入局部最优解,加快算法收敛,加快航路规划。为解决路径优化问题,提出了最佳切入角的数学模型,提高了光顺后的航路的合理性及安全性。为解决AUV多目标点探测任务规划时,现有算法计算量较大、规划时间较长的问题,提出区域划分的分层Q学习算法,将环境状态空间根据目标点所在区域进行划分,得到相应子区域及子任务,将复杂任务转换成较简单的子任务序列,减少了规划的计算量及时间,提高了规划效率。为解决航行过程中目标点突变问题,提出局部代价最小区域模型,设计了在线动态重规划方案,提高了规划的时效性,完成了 AUV多目标点探测任务的航路规划及重规划工作。最后,结合实际海岛环境对提出的学习模型进行评估,结合“长岛”环境进行自适应Q学习模型的仿真实验,采用“长海”环境进行区域划分的分层Q学习模型的仿真实验。通过对仿真结果的分析,验证了提出的学习模型可以优化任务规划的结果,并且能够提高任务规划的效率。
其他文献
<正>~~
会议
<正>2015年,教育部启动了在全国职业院校推进建立教学工作诊断与改进制度的工程,这是一项构建职业院校教学质量保证体系的制度建设,对职业院校自主发展、内涵发展、特色发展
脑性瘫痪(cerebral palsy, CP,简称脑瘫)被定义为持续存在的中枢性运动和姿势发育障碍、活动受限症候群,这种症候群是由于发育中的胎儿或婴幼儿脑部非进行性损伤所致。CP的最
矿井扁尾绳是矿井提升系统的主要组成部分.矿井每年都会发生尾绳断绳事故,尾绳型号的选型、防腐及维护保养尤为重要.本文通过对不同型号、规格扁尾绳的选型,系统分析了扁尾绳
中小企业是我国国民经济市场中重要的组成部分。中小企业在提供就业和技术创新方面做出了突出的贡献。在维护市场经济稳定、促进社会和谐发展、加快我国实体经济进步等方面,都离不开中小企业的支持和参与。随着经济状态的持续低迷,加之国内经济发展步伐变小和激烈的市场竞争,中小企业的发展愈发困难。由于中小企业的资金背景、经营实力远不如大型企业,再加之全球经济一体化的的影响,许多中小企业陆续出现倒闭的现象。中小企业若
“寒林”是中国山水画中常见的题材,其萧瑟荒寒的意境多为古代文人所崇尚,尤其是在“元四家”的画中表现尤为突出。基于研究生期间对“元四家”山水画中寒林、雪景图的研究,
党的十九大明确提出“实施乡村振兴战略”。作为服务地方经济的本土银行,江苏泗阳农商银行不忘初心、坚守定位,始终以支农支小为基础,大力拓展农村金融需求,推进乡村振兴战略的有
报纸
目前,安全多方计算的研究主要集中在协议复杂度的改进和实现具体的安全协议,其通常在计算机网络上执行,但一个重要的问题往往被忽视:安全多方计算协议所依赖的底层通信网络结
近年来,我国建筑业掀起了一场基于信息化变革的热潮,"BIM技术"在其中扮演了最为重要的角色。它不仅可以从技术上实现碰撞检查、虚拟施工等项目可视化应用;又可以从经济上实现
2006年7月16日,“泛珠三角区域九省区人才服务合作第五次联席会议”在风景如画的绿城南宁隆重举行,在盛大的开幕式上,广西壮族自治区党委副书记,自治区常务副主席郭声琨,人事部副