【摘 要】
:
由于多智能体所处环境动态变化,并且单个智能体的决策也会影响其他智能体,这使得单智能体深度强化学习算法难以在多智能体环境中保持稳定.为了适应多智能体环境,本文利用集中训练和分散执行框架Cen-tralized Training with Decentralized Execution(CTDE),对单智能体深度强化学习算法Soft Actor-Critic(SAC)进行了改进,引入智能体通信机制,构建Multi-Agent Soft Actor-Critic(MASAC)算法. MASAC中智能体共享观察信
【机 构】
:
矿山数字化教育部工程研究中心,中国矿业大学计算机科学与技术学院,宁波市轨道交通集团有限公司
【基金项目】
:
国家自然科学基金(No.62071470,No.U1934219,No.61971421),徐州市科技计划项目(No.KC19011,No.KC20167)。
论文部分内容阅读
由于多智能体所处环境动态变化,并且单个智能体的决策也会影响其他智能体,这使得单智能体深度强化学习算法难以在多智能体环境中保持稳定.为了适应多智能体环境,本文利用集中训练和分散执行框架Cen-tralized Training with Decentralized Execution(CTDE),对单智能体深度强化学习算法Soft Actor-Critic(SAC)进行了改进,引入智能体通信机制,构建Multi-Agent Soft Actor-Critic(MASAC)算法. MASAC中智能体共享观察信
其他文献
全球定位系统(GPS)广泛应用于导航、测量、应急通讯等领域,近年来对GPS卫星基带信号捕获跟踪过程的研究日益深入,为此对捕获和跟踪算法进行系统的总结和对比。根据数字中频信号与本地信号混频后的处理方式将捕获算法主要分为相干捕获、非相干捕获和差分相干捕获等,根据跟踪环路功能将跟踪算法分为载波跟踪和码环路跟踪,分别对捕获和跟踪算法进行对比;归纳近几年捕获和跟踪的改进算法,分析其优缺点。最后展望捕获和跟踪
针对核相关滤波(KCF)目标跟踪算法在目标发生尺度变化和受到遮挡时无法保证对目标长时间跟踪的问题,提出了一种尺度自适应抗遮挡的长时间目标跟踪算法。首先,将方向梯度直方图(HOG)特征和颜色(CN)特征进行融合并增加一个尺度滤波器用于估计目标的尺度;然后,引入平均峰值相关能量指标(APCE)进行遮挡判断,采用SVM分类器重新检测目标被遮挡后的位置;最后,根据平均峰值相关能量和位置滤波器最大相关响应值
建立了无人直升机姿态/垂向通道的状态依赖伪线性模型,保留了状态耦合项,通过在线求解状态依赖Riccati方程(SDRE)得到名义模型的最优控制解,进而设计了积分扩展的状态依赖控制器。针对存在的外部扰动问题,设计了有限时间扰动观测器,对垂向与偏航两个耦合通道的扰动进行在线观测与补偿。最后在Yamaha-Rmax无人直升机数字平台上开展了仿真实验,结果表明,所提方法相对于经典的H∞鲁棒控制器具有模型参数依赖小、动态响应快的特点,实现了对直升机内环姿态与垂向速率的快速镇定。
针对目前考虑不确定因素的测试性模型存在建模难度高、结构复杂、层次化建模困难、学习能力弱、不确定信息表达形式差的问题,面向电子设备提出了一种基于贝叶斯网络的测试性分层建模方法。以原有的贝叶斯网络模型与多信号流图模型为研究对象,对二者的参数、结构特点及优势短板进行分析,根据二者的互补性与测试性建模需求对贝叶斯网络模型进行改进。模型以故障、信号关系替代故障、测试关系,以信号节点间的连接表征故障传递,利用电路结构与层次划分确定模型结构,采用贝叶斯方法确立模型参数,运用贝叶斯网络推理能力对测试性指标进行计算。以放大
对国外Star SAFIRE 380X瞄准系统、EOTS瞄准系统、LITENING瞄准系统等先进机载光电瞄准系统的现状及技术特点进行介绍,在此基础上分析先进光电瞄准系统的相关技术,并对未来机载光电瞄准技术的发展趋势进行展望。
近日,丹麥女议员阿比尔高借助社交媒体“诉苦”:她当天带着宝宝参加议会会议时,议长对宝宝下“逐客令”。 这一消息在丹麦这个重视妇女权利的北欧国家引发争议。 按照阿比尔高的说法,她当天带着5个月大的女儿参加议会会议,议长凯斯高经由一名助理传话:“议会大厅不欢迎你带孩子进来。”于是阿比尔高把孩子交给另一名议员助理照顾,返回大厅参加表决。 对此,凯斯高表示,出现在议会大厅的应该是议员,“而不是婴儿或
借鉴电磁机动战思想,从电磁作战环境中机载有源相控阵火控雷达与对方电子侦察系统机动对抗的视角,分析了机载雷达射频隐身与电磁机动的含义,探讨了机载雷达射频隐身的电磁机动敏捷性、电磁机动信息熵。在此基础上,总结了空战电磁环境中,机载雷达射频隐身的“最小时间”、“最小功率”和“最大信号不确定性”3种电磁机动策略,以及对应的电磁机动工作方式。运用电磁机动战研究机载雷达射频隐身问题,拓展了机载雷达电磁作战研究的视野及思路,提出了有应用价值的机载雷达电磁机动策略和工作方式。
时间触发(TT)通信网络能够有效地保证安全关键领域网络数据传输的可靠性和实时性,分析了TT通信网络在安全性方面的监护及容错机制原理,开展了基于时间窗口、语义、流量的网络监护方法设计。基于余度通信的时间同步容错设计和基于执行者/监控者的高完整性容错设计,构建了TT通信网络监护及容错机制验证环境,开展了相关测试验证工作,结果表明在TT通信网络监护和容错方面的分析设计能够有效提升网络运行的安全性。
不知道从何时起,公务员们在朋友圈里转发的,多了一类“领导讲话中的美文”,看标题就让人虎躯一震:“这名领导把公文写成散文,精彩绝伦”“局长的这篇讲话,直抵灵魂的经典之作”“韵律之美,这才是写材料的最高境界”……打开一读,有的确实有些文采,经过了自己的思考,讲道理深入浅出,堪称好文;但有相当一部分却“名不副实”,过犹不及、不分场合,甚至是新瓶装旧酒。 细数起来,朋友圈里这些“美文讲话稿”不外乎两类,
现有关键词抽取算法缺乏对短语的有效表示,为抽取出更能反映文本主题的关键短语,本文提出一种基于短语向量的关键词抽取方法 PhraseVecRank.首先设计基于LSTM(Long Short-Term Memory)和CNN(Convolutional Neural Network)自编码器的短语向量构建模型,解决复杂短语的语义表示问题.然后,利用短语向量对每个候选短语计算主题权重,通过主题加权排序提高关键词抽取的效果.在公共数据集和学术论文数据上的实验表明,本文提出的方法能够有效提取与文本主题信息相关的关