【摘 要】
:
多智能体强化学习是解决多智能体系统自适应控制的一种机器学习方法,广泛应用于游戏AI、自动驾驶、机器人编队、资源调度等复杂现实场景中,是实现复杂系统智能控制的有效方法。目前针对多智能体强化学习算法的研究主要集中在规模有限的多智能体环境,随着智能体数量增长而引发的维度灾难,导致很多方法无法有效处理大规模多智能体环境中联合状态-动作空间中价值函数的组合优化问题。针对此问题,本文从集中式训练分布式执行的思
【基金项目】
:
国家自然科学基金(51974144); 辽宁省教育厅项目(LJKZ0340);
论文部分内容阅读
多智能体强化学习是解决多智能体系统自适应控制的一种机器学习方法,广泛应用于游戏AI、自动驾驶、机器人编队、资源调度等复杂现实场景中,是实现复杂系统智能控制的有效方法。目前针对多智能体强化学习算法的研究主要集中在规模有限的多智能体环境,随着智能体数量增长而引发的维度灾难,导致很多方法无法有效处理大规模多智能体环境中联合状态-动作空间中价值函数的组合优化问题。针对此问题,本文从集中式训练分布式执行的思想出发提出一种利用Actor-Critic框架求解平均场控制问题的多智能体强化学习算法。具体内容如下:第一,针对通过提升状态-动作空间求解平均场控制的方法需要在高维概率度量空间中估计价值函数的问题,提出了基于Actor-Critic框架的平均场控制算法(MFC-AC),该算法首先将聚合动作空间分解为对应于每个状态的多个子空间,然后使用多个Actor网络学习每个状态对应的子策略,以及一个中央Critic网络汇总所有Actor的行为并估计全局Q值。通过数值实验验证了方法的有效性。第二,针对MFC-AC在复杂多目标任务中使用外部探索机制无法对决策空间充分探索而只能学习到单一模式的策略,提出了条件熵平均场控制算法(MFC-CEAC)。该算法是在MFC-AC的基础上通过将聚合策略的条件熵作为正则项加到目标函数中,在最大化期望回报的同时使策略尽可能随机,同时搭建了一个具有多目标奖励的网络拥塞控制强化学习环境,以对算法进行检验。数值结果表明MFC-CEAC算法相比于MFC-AC算法在训练过程中学习到了多模态的策略并获得了更高的回报,验证了MFC-CEAC是求解大规模智能体平均场控制问题切实可行的方法之一。该论文有图21幅,表11个,参考文献53篇。
其他文献
停车选择行为是停车者追求个人效益最大化的停车决策过程。巡航停车行为作为路内停车选择的外在表现和特征行为,浪费了时间和燃油成本并影响停车路段交通流的正常运行。路内停车凭借方便快捷的优势,使停车者宁愿花时间在路内巡航停车。影响停车选择的因素众多,解析影响巡航停车时间的关键变量,通过定量改变关键变量来改善停车者停车选择行为,从而达到减少巡航停车现象、增加路外泊位的利用率、降低路内泊车行为对停车路段的负面
传统车辆操纵动力学主要研究汽车稳定工况下的动力学特性。针对汽车高速紧急转向等工况,研究重点主要在采取一系列措施避免失稳的发生。对于汽车转向失稳后,轮胎力进入饱和区从而出现漂移现象的动力学机理缺乏系统的试验研究。近年来,国内外学者对汽车漂移展开一系列理论研究,其中有部分研究表明汽车转向失稳的本质是一种混沌运动,但并未进行实验验证。研究车辆漂移失稳但不失控现象有利于进一步了解车辆漂移运动的动力学和控制
为了研究中国初中数学教材内容编写情况,采用内容分析法对中国现行10个版本初中数学教材中“无理数”内容编写特点进行研究.结果表明:各个教材都有自身的理解,编写既有自己的特色,也有普遍一致性;所有的教材都注重无理数概念对无理数的判定;所有的教材注重将有理数的运算与运算法则迁移到无理数.建议教材编写应加强关注学生学习心理与发展特征,调整数学史料编排方式促使学生体会数学史发展过程,搭建知识之间的关联助力学
特征选择是指在包含有大量冗余、不相关和有噪声的原始特征中选择最优特征子集并以最小特征个数尽可能还原原始数据集中所有特征的方法。该方法作为一种有效的数据降维方法,通过消除高维数据中冗余,不相关和有噪声特征来提高机器学习或数据挖掘模型的预测、分类和计算性能。在特征选择中,特征子集的搜索过程可看作是一个组合优化求解问题,即在有限的特征空间中寻求最优特征子集的过程;而特征子集的评估过程可看作一个分类问题,
人类已经在地球上生活了两百万年之久,但仅仅工业革命至今这两百余年间,人类为了发展工业文明,对地球物资肆意掠夺,地球上的不可再生资源已然成为所剩无几的宝贵财富,对于二十一世纪的我们来说,人类对于能源的需求不减反增,为了解决未来人类生存的问题,则必须要重视起可再生资源的开发和利用,而电能行业正处于这个巨大旋涡的中心。不同于利用不可再生能源(如燃煤发电),使用清洁能源发电面临的最直接的问题就是输出电压等
变压器是输配电的基础设备,广泛应用于电网系统中,与人类活动息息相关。利用绝缘油中的溶解气体来判断变压器运行状态是目前最简单易于操作的诊断方法,通过分析数据得出故障类型并及时处理,可以有效防止变压器损毁,并提高电力系统供电的可靠性。基于油中溶解气体分析技术(Dissolved Gas Analysis,DGA)的传统故障诊断算法均有不可忽视的缺点,因此本文结合改进哈里斯鹰算法(Improved Ha
在流体力学中,分数阶Bagley-Torvik微分方程被用来解释粘弹性阻尼结构的运动和流体的运动,该方程作为分数阶问题的一种一般形式已被广泛研究。然而分数阶Bagley-Torvik微分方程的精确解难以获得,因此对分数阶Bagley-Torvik微分方程数值算法的研究在理论与实际应用中具有重要意义,为类似的分数阶微分方程数值求解提供了有效的方法,为复杂系统的数学建模提供了有利的工具。本文基于现有的
分数阶多孔介质方程解的存在性和爆破性是近年来的热门研究课题,也是分数阶偏微分方程理论研究的重要组成部分。本文主要研究具有空间导数的分数阶多孔介质方程解的性质,其中一种是具有奇异势项的分数阶多孔介质方程解的全局存在性和爆破性,另一种是具有幂函数反应项的分数阶多孔介质方程Dirichlet初边值问题解的爆破性。由于分数阶Laplace算子的非局部性,利用Caffarelli-Silvestre扩展方法
多区域多物理场耦合现象在工程应用中屡见不鲜,因此针对多场耦合复杂流体的建模与计算始终是计算数学领域的研究热点。Stokes-Darcy耦合系统作为一种典型耦合模型,在模拟地表水-地下水系统、石油开采、血管中血液流动等问题中得到广泛应用。针对具有Beavers-Joseph-Saffman交界面条件的非定常Stokes-Darcy耦合模型,本文在基于向后欧拉的一阶解耦算法的基础上,基于谱校正思想,提