基于强化学习的自主式水下机器人运动控制研究

来源 :石家庄铁道大学 | 被引量 : 0次 | 上传用户:willing_6
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科学技术在水下探索领域的不断发展,自主式水下机器人(Autonomous Underwater Vehicle,AUV)的研究也逐渐被学者重视起来,精准地进行水下运动控制是AUV完成水下任务的关键,也是AUV研究的基础所在。由于AUV是自主式的设备,因此对其的控制精度要求比非自主式的设备更高,然而水下的环境十分复杂多变,AUV在水下会受到浮力、涡流、重力等多种力的叠加作用。传统的控制方法需要预先设置控制参数,面对水下这样复杂的环境难以保证控制的精度要求。因此本文针对AUV的水下运动控制中存在的控制精度低、响应速度慢等问题,提出一种基于强化学习的水下控制方法,具体研究内容如下:首先,建立了AUV的基本数学模型和环境干扰模型,并在AUV动力学和运动学的基础上对AUV的数学模型进行了简化,同时结合强化学习理论设计了一种基于深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)的水下运动控制方法,在DDPG算法训练时引入熵正则化来改进算法,并且优化了原算法的神经网络结构与奖励函数,解决了原算法中动作选择过窄造成的局部最优解的问题。通过训练好的控制算法进行仿真实验,证明了该算法在控制方面的有效性。其次,研究了基于双延迟深度确定性策略梯度(Twin Delayed Deep Deterministic Policy Gradient,TD3)的AUV水下运动控制方法。针对DDPG算法在训练时出现的价值网络将偏差高估这一问题,文章采用TD3强化学习方法加以替代,并设计了该算法的参数结构。之后使用共轭梯度法代替原算法中的梯度下降更新方法,改进了该算法训练过慢的问题。通过训练好的控制算法进行仿真实验,证明了该算法在控制方面的有效性,同时加入环境干扰因素,验证了该算法的稳定性。最后,基于改进后的TD3强化学习控制算法,以视线法为AUV进行水下路径跟踪时寻找目标点的方法,分别开展了AUV的水下直线路径跟踪实验与水下曲线路径跟踪实验,验证了本文改进后的TD3强化学习控制算法在水下路径跟踪时的性能,在仿真实验中加入环境干扰因素,验证了该算法在路径跟踪时的稳定性。
其他文献
由于中国高等教育事业的改革增强了教育变革的力量,与此同时也对基础教育课程改革背景之下的小学语文课堂提出了更高的需求,不但要求提高小学语文课堂的教育实效性,更关键的是提高小学生语文学习的创新能力,从而提升语文教师的实力。本文通过对新阶段基础教育课程改革背景之下小学语文古诗词的课堂情况进行调研,探索小学语文古诗词的教学策略。
期刊
目的:探讨重症监护病房(ICU)肠内营养相关性腹泻患者发生失禁性皮炎(IAD)的相关危险因素。方法:以2017年1月至2022年1月新乡市中心医院ICU住院发生肠内营养相关性腹泻的80例患者为研究对象,收集患者病例资料,根据是否发生IAD分为IAD组和非IAD组,采用单因素和多因素Logistic回归分析法分析影响IAD的危险因素。结果:80例肠内营养相关性腹泻患者中,22例(27.50%)发生I
期刊
新发展格局下,作为新型农业经营主体之一的农民合作社在推进产业融合发展中具有独特优势。通过对日本农协六次产业化发展背景、思路的分析和三个典型案例的剖析,研究发现,目前中国农民合作社产业化发展所处的阶段与日本农协六次产业化发展的初期有很大的相似性,其发展经验值得借鉴,尤其体现在打造农产品品牌优势、实现农产品标准化加工、建立农产品营销渠道等措施推动产业化发展方面。据此本文提出促进中国农民合作社产业化发展
期刊
社会的再组织化过程是新社会得以形成和发展的必要条件。农民专业合作社治理从组织化、去组织化到再组织化的演变过程,是乡村基层治理的创新过程,也是农民专业合作社治理价值的回归过程。通过对中国农民专业合作社和日本农业协同组合进行对比分析,总结再组织化发展经验,通过多单元、多级和多功能再组织化使农民专业合作社不断嬗变以适应未来的风险挑战。
期刊
随着我国基础设施的不断完善,基建行业的工作重心向检测和养护转移,大批桥梁因长时间的运营和日益增加的交通量,需要进行定期检测以保证结构的使用安全。以水下无人机为载体,搭载摄像、声呐等设备进行水下作业装备的研究受到极大重视,为解决桥梁水下结构的检测问题提供了新的思路和方法。本文就水下机器人在桥梁水下结构检测中的应用进行了论证,阐述了典型应用场景和实例;同时,指出抗流性弱是限制水下机器人发展的一项关键技
期刊
古诗词在我国文学史上占据着重要的地位,古诗词教学是语文教学中的重要环节,教育部门也逐步提高对古诗词教学的要求。本文通过对农村学校的师生进行访谈和调查,以及分析其他学者的相关文献后,指出农村小学语文古诗词教学现状并分析成因,探索提出有效的教学策略,以此希望提高农村小学古诗词教学质量。
期刊
以微小型水下机器人为研究对象,采用计算流体动力学(Computational Fluid Dynamics, CFD)数值模拟方法开展机器人阻力的数值模拟,并将摩擦阻力因数Cf与第8届ITTC推荐值进行对比验证,提出一种无动力带桨水下机器人水动力参数CFD计算方法。利用此方法,基于航行力学基本原理,采用定常计算方法开展微小型水下机器人斜航、操舵直航试验数值模拟,采用全局网格运动方法开展回转拘束模型
期刊
“星创天地”是我国实施乡村振兴战略的有效载体,是农业科技社团发展的新模式、新形态。由于起步较晚,我国“星创天地”建设还存在一些薄弱环节。日本农协与我国“星创天地”有较多相似之处,其发展模式值得借鉴。该文通过研究日本农协发展历程、治理机制及服务模式,以期为我国“星创天地”建设提供借鉴。
期刊
<正>国网安徽利辛县供电公司开启网上作业新模式,依托“网上国网”App统计业务线上管理,高效优质完成涉及公司生产经营管理中的供售电量、行业分类用电、供电生产调度表、线损、业扩报装、电费、“95598”工单、分布式电源、设备负载率等的源端采集,深化源网荷设备统计、发供用统计、投资统计、“三率合一”监测、
期刊
古诗词教学是小学语文教学的重要组成部分,也是小学阶段学习的重难点内容。古诗词是中华文化的精粹,其中包含着凝练隽永的语言深刻的情感价值,是学生增强文学素养、提升鉴赏能力的重要学习内容。在本文中将针对小学语文古诗词教学进行深入分析,探究其中存在的问题和局限,并提出优化小学古诗词教学的可行性方式,促进小学阶段学生在古诗词学习中增强文学鉴赏能力,提高语文知识水平。
期刊