基于多智能体强化学习的无人机集群火灾救援策略研究

来源 :沈阳工业大学 | 被引量 : 0次 | 上传用户:jiji1st
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
森林火灾关系着国家经济损失和人民财产安全,而及时的火情监测和扑救是火灾救援现场处置必要手段。无人机(Unmanned Aerial Vehicles,UAV)由于其高机动性和较低的成本也逐渐在林场火灾救援中得到重视。本文针对森林火灾救援现场处置问题提出基于多智能体强化学习的无人机集群火灾救援策略。该方法在搭建无人机集群系统基础上采用多智能体强化学习策略实现复杂火场环境下无人机集群自主规划路线、实时传输火场情况。并采用分布式训练平台对多智能体强化学习算法进行分布式训练,仿真结果表明该救援策略具有较好效果。本系统主要由用于火情监测的监测无人机、用于灭火的无人机、无人车和负责训练基于强化学习算法模型和实时监测火情的地面控制台三部分组成。本文主要做了以下几个方面的研究工作:(1)在构建无人机集群系统基础上,设计了无人机飞控模块、火势评价模块,给出了基于YOLO V3的火灾现场目标检测算法,并具体说明了几种常见强化学习算法。目标检测无人机的实时将检测到的火焰和烟雾的信息传输给地面控制台,由地面控制台给出火情判断。实验测试结果表明,该算法在目标检测无人机平台上的识别率可达到84.3%,视频检测速率可达3.2 fps以上。(2)针对无人机集群的森林火灾救援问题,提出了一种多智能体深度强化学习(Multi-Agent Deep Reinforcement Learning,MADRL)方法。该方法以近端策略优化算法(Proximal Policy Optimization,PPO)为基础,采用一种中心式的值函数方式来考虑全局信息,通过一个全局的值函数来使得各个单个的PPO智能体相互配合,并采用集中式训练和分布式执行机制。实验表明,该算法在最大化奖励和收敛速度方面明显优于多智能深度确定性策略梯度(Multi-Agent Deep Deterministic Policy Gradient,MADDPG)算法和近端策略优化算法,满足在森林火灾救援任务需要。(3)为了提高训练速度和GPU的利用率,采用开源分布式框架Ray设计并搭建了面向多智能体强化学习平台的分布式训练框架。实验结果表明,分布式并行训练大大降低了训练时间,GPU的利用率显著提高,训练速度相比于单机训练提升了40%。
其他文献
“一带一路”倡议给新疆旅游业现代化发展带来了千载难逢的机遇,推动和田地区步入经济建设的新时代。要想借助政策和体育旅游等优势推动新疆经济的大发展,促使兴疆发展战略落地,还需立足和田地区旅游业发展现状,本着具体问题具体分析的原则,采取多措并举的方式,促使其发展模式更加优化。本文主要对“一带一路”背景下新疆体育旅游发展战略的意义和问题及对策进行阐述,希望对和田地区旅游业的稳中求进起到积极参照作用。和田作
为促进学生化学实验活动的有效落实,改善教师的实验活动教学,进一步完善实验课程的实施方案,新课改提出了"立足过程,促进发展"的多元化评价理念,对学生化学实验评价方式的转变日益凸显和重要。本文结合初中化学实验活动教学实际,创造性地将动态评价与"翻转课堂"模式有机融合,设计出针对课前、课中、课后及综合拓展四大教学环节的评价工具及方式,实现了贯穿整个实验活动教学过程的动态、客观评价,并从实践中反思优缺点以
儿童是国家的未来,是社会可持续发展的重要资源之一。重视儿童的生、心、社三方面的健康发展是当今世界的普遍趋势。在物质渐好的社会背景下,儿童的需求也在不断地发生着变化,所呈现的问题不单纯停留于物质和保护,而是上升到了更深层次的提升和发展,那么心理作为其中的深层次需求就自然成为儿童健康成长中更需要被关注的层面。困境儿童作为特殊儿童,其心理发展在很大程度上会受到所处生活环境的影响,也会因为困境而拥有着“特
在全新的教育形态之下,网络思想政治教育的地位和价值被逐渐提高。新时代高校网络思想政治教育的功能包括正确价值引导功能、育人功能、意识形态引领功能、社会实践引领功能等。然而,高校网络思想政治教育功能并未得到充分发挥,存在对高校网络思想政治教育内涵功能认识欠科学、内容形式单一、专业队伍不健全等问题。要更好发挥高校网络思想政治教育功能必须做好以下几个方面:一是坚持党委领导,强化构建协调管理体系;二是坚持识
<正>2022年9月28日,中共安徽省委党校(安徽行政学院)举办第9期青年博士论坛,副校(院)长江观伙出席并讲话。有关部门负责同志、青年教职工、在站博士后等70余人参加论坛。此次论坛的主题是“回答‘中国之间世界之间人民之间时代之问’的权威著作——学习《习近平谈治国理政》第四卷”。校(院)8名在站青年博士后、1名青年博士结合《习近平谈治国理政》第四卷的学习,分别作主旨发言,谈学习收获、谈思想认识、谈
期刊
随着高等教育的迅猛发展,新时代大学生心理问题已成为目前社会关心的主要问题。通过剖析新时代大学生心理健康现状及产生的原因,并从不同的角度对其进行分析论证,从社会、学校、家庭和个人层面给出大学生心理健康教育策略,树立正确的大学生心理健康理念。
为解决室内空气质量检测仪器存在的检测精度低和体积笨重等问题,本研究基于STM32单片机,利用低功耗和高精度的金属氧化物气体传感器,设计并开发了一种新型的室内空气质量检测仪器,用于甲苯和甲醛等室内常见污染气体的实时检测。研究开发的样机尺寸为60 mm×40 mm×8 mm,对比市面同类产品,具有体积小、轻便和易携带的特点。在模拟室内环境的密闭腔室中开展了对不同体积分数污染气体的实际检测,结果表明:该
随着产业升级、经济发展,企业竞争以及人才竞争愈演愈烈,越来越多的企业将校园人才招聘与培育作为其长远发展的重要驱动力。校园招聘备受企业的重视和关注,可实现较低的成本投入吸引优秀的青年人才,充实人才储备,提高企业的核心竞争力。但由于校园招聘过程简单、时间短,加之近年来应届毕业生数量与日俱增,难免出现招聘人员与岗位不匹配、员工忠诚度不高等一系列问题。本文深入分析校园招聘中存在的问题,并提出纾解之策,以求
我国零售类企业的资金营运管理具有库存管理地位重要、商品周转速度较快和销售渠道优势明显等特征。但在供应链视域下,我国零售类企业资金营运管理存在采购计划流程不完善、货物供给结构不优和物流配送效率不高且成本较高等问题。在加强采购环节资金营运管理方面,要与上游供应商组建战略合作联盟和采取多元化的采购形式;在加强库存配送环节资金营运管理方面,要加强对重点货物的针对性管理和重视信息化物流平台的搭建;在加强销售
在我国基础设施建设领域,钢铁合金类材料是市场供求关系中变数最大的因素之一,轧钢工艺是保障钢铁合金材料产品质量的关键制造技术之一。但是传统的轧钢工艺技术对能源的损耗量非常多,不利于实现节能环保的制造生产目标。文章从轧钢生产工艺的发展现状出发,深入分析与探讨轧钢工艺的节能发展方向,以及提升我国轧钢工艺水平的节能措施等内容。