基于深度强化学习的东京湾渡轮避碰决策算法

来源 :大连海事大学 | 被引量 : 0次 | 上传用户:nanometer
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
船舶避碰是船舶航行安全的核心问题,深度强化学习算法在船舶避碰领域有着广泛的应用前景,提高了船舶在航行环境中的灵活性和适应性。本文以深度强化学习中的DDQN(Double Deep Q Network)算法为核心,提出了一种适用于东京湾危险水域的船舶避碰决策算法,有效的提高了该水域的航行安全。本文的主要研究内容如下:(1)对船舶避碰领域已有的研究成果进行分析,详细的介绍了深度强化学习的基本原理,及其在船舶避碰问题中的优势。对于当前深度强化学习算法在船舶避碰领域研究的不足之处,本文提出的船舶避碰决策算法从应用性、及时性和过程性三个方面进行相应的改进。(2)构建了高度真实的船舶仿真模型。该模型通过船舶自动识别系统(Automatic Identification System,AIS)收集和提供船舶航行数据,嵌入东京湾渡轮Bumper模型用于判断与指示船舶之间的安全距离,遵守日本海上交通安全法的相关法规规范来限制会遇场景下渡轮与他船之间的航行行为。(3)设计了船舶避碰决策算法。分别从状态空间、动作空间、奖励函数和网络结构四个方面进行详细设计,组建了船舶避碰决策算法框架。利用python语言建立船舶避碰仿真模型后,将不同危险会遇局面下的船舶AIS数据作为模型的输入,经过DDQN神经网络的不断训练,得到各避碰局面下的船舶自动避碰策略,并将其存储到数据库中。对于训练结果,本文展示了两船与多船会遇局面下,船舶随着训练次数的增加,不同奖励值情况下的船舶航行路径。(4)将实际航行数据应用到船舶避碰仿真模型中。验证实验表明,根据实时AIS信息,数据库可以为驾驶员提供对应的航行策略,使渡轮能够安全有效的进行避碰并到达目标点,为东京湾渡轮航线的运营提供了新的策略。本文针对东京湾浦贺水道南侧入口处危险水域的船舶避碰问题,提出了基于DDQN深度强化学习算法的东京湾渡轮避碰决策算法。以东京湾地理环境和海量AIS数据为支撑,构建了船舶仿真模型和设计船舶避碰决策算法框架,将该水域一年内所有具有碰撞风险的场景进行训练,得到相应的最优避碰策略,并通过验证实验表明该算法能够解决该危险水域的船舶避碰问题,有效的降低了碰撞风险,具有很好的应用价值。
其他文献
航海运输事业的迅速发展对航运安全保障技术有了更高的要求,主要服务于跨洋航行大型船舶的商业气象导航服务公司虽然技术日新月异,但费用高昂并出现垄断的趋势。对于近洋航行及没有申请气象导航服务的船舶,虽然获取气象预报的渠道较多,但只能获得某个海区的风浪,不能获取指定船位点附近的天气变化情况。为填补在航船舶从陆地实时获取气象水文预报信息的空白,本文提出并实践了一种基于Email的海上风速自动预报智能服务系统
学位
在航运业,无人驾驶船舶的避碰算法研究是一项极具挑战性的任务。为了探索兼具高效性和实用性的船舶避碰方法,针对不确定环境下的船舶避碰问题,提出了一种基于深度迁移强化学习的船舶自主避碰决策算法。首先,结合有人驾驶船舶的避碰行为特征和《国际海上避碰规则》对船舶会遇场景进行划分,设计船舶避碰危险度和规则协同约束的奖励函数,构建基于深度强化学习的船舶自主避碰决策模型;构建船舶避碰任务集,提出不同场景下避碰任务
学位
<正>[设计意图]《藤野先生》是鲁迅先生忆人记事类散文中的名篇,但因成文年代久远,学生与文本之间存在隔阂,以传统的单篇阅读形式讲授这篇课文,不利于学生把握藤野先生这一人物形象。因此,本教学设计采取群文阅读的形式,师生围绕议题对关联文本进行比较、延伸、对比,通过互文式的整合性阅读实现对文本的深入理解。在关联文本的选用方面,首先,以教材为主,将统编教材中名著导读《朝花夕拾》中涉及到作者鲁迅四段求学经历
期刊
近年来,智能船舶技术快速发展,其中无人船是智能船舶领域中的一个重要分支,代表着船舶行业未来发展的目标和方向,各国研究人员相继对无人船的智能航行算法展开深入研究。无人船的智能航行系统主要分为感知、决策、控制三个模块,其中感知是对船舶周围环境进行检测,全面、准确的环境感知是智能航行系统的关键功能之一。针对实际船舶测试中成本高、风险性大、可重复性低、场景覆盖性差的问题,本文提出了一种用于无人船虚拟测试的
学位
随着海上贸易不断发展,港口的运营效率成为衡量港口竞争力的重要指标之一,提高船舶进出港效率是提升港口运营效率的有效方式,而装船设备资源作为散货港口的重要稀缺资源,对其进行合理分配是提高船舶进出港效率的重要保障;另一方面,有序、高效的船舶交通组织对提高装船设备的工作效率也具有关键作用。然而,目前散货港口投入生产作业过程的设备越来越多,使用条件的改变深刻影响着设备的可靠性,装船设备直接连接码头和船舶,对
学位
<正>多年后的那次重逢,现在回想起来,我仍心潮澎湃,久久不能平静。我非常荣幸受母校茶陵县第一中学邀请,给茶陵县的中学语文教师做一场关于写作教学的讲座。刘福生校长反复交代我周五晚上赶回去,到母校食堂吃晚饭,因为特别邀请了我的班主任周头云老师。本想直接回家准备讲座PPT的我,又一次被说动了。与母校的距离越来越近,我的心越发紧张起来。是一种什么感觉呢?似乎无法形容,估计就是近乡情更怯吧!阴雨绵绵的傍晚,
期刊
<正>早在2000多年前,孔子就主张"不愤不启,不悱不发",即先使受教育者发生困难,产生求知的动机、需要和欲望,然后再去启发他,这样教学效果才会好。心理学研究也表明,学生如果只听讲解,只能记住所听内容的15%;学生预先自主探究,再由教师点拨,则可记得内容的85%。事实上,只有正确处理好教与学的关系,变过去教师讲、学生听为学生学,教师导,发挥学生学习的"能动性、自主性、创造性",才能提高学生的综合学
期刊
我国水域资源丰富,水上经济发达,在“双碳战略”的背景下,航运业发展更为迅速,如何保障安全、高效的水上运输是当前航海领域研究中的重要课题。船舶的航迹预测一直是航海领域研究的热点,其对保障船舶航行安全、提高交通管制效率有着重要作用。本文以提高航迹预测的精度与预测结果的时效性为研究目标,研究建立基于改进ELM的航迹预测模型。本文的研究工作主要有以下三个方面:(1)AIS数据的预处理。选定长江下游部分水域
学位
随着全球化程度的加深,近年来航运业发展迅速。伴随而来的问题是海上交通量过大,船舶碰撞成为导致海上人员伤亡的主要船舶事故类型,基于DCPA和TCPA的传统船舶碰撞危险度模型已不足以估计船舶碰撞风险和规划避碰操作。为解决这些问题,本文基于船舶领域理论,为海上船舶碰撞危险度评估提供一种新方案。主要工作内容如下:对已有船舶领域模型进行归纳梳理,分析各种船舶领域间的联系及优缺点,选用航海实践中使用最广泛的椭
学位
快速城市化进程中,地域文化越来越受到重视与发展。国家为了改善人们的生活环境,在城市环境治理中提出了建议及政策,但早期建成的湿地公园景观设计,通常在地域文化方面存在问题。因此,基于地域文化传承的理念,以湿地公园景观为载体,创新地域文化在湿地公园景观中的表达形式。在此基础上,提出湿地公园的景观设计策略,以更好地传承地域文化,为今后城市湿地公园景观设计提供参考。
期刊