【摘 要】
:
深度强化学习(Deep Reinforcement Learning,DRL)可广泛应用于城市交通信号控制领域,但在现有研究中,绝大多数的DRL智能体仅使用当前的交通状态进行决策,在交通流变化较大的情况下控制效果有限。文中提出一种结合状态预测的DRL信号控制算法。首先,利用独热编码设计简洁且高效的交通状态;然后,使用长短期记忆网络(Long Short-Term Memory,LSTM)预测未来的
【基金项目】
:
国家自然科学基金资助项目(62073164); 南京航空航天大学研究生创新基地(实验室)开放基金资助项目(kfjj20200313);
论文部分内容阅读
深度强化学习(Deep Reinforcement Learning,DRL)可广泛应用于城市交通信号控制领域,但在现有研究中,绝大多数的DRL智能体仅使用当前的交通状态进行决策,在交通流变化较大的情况下控制效果有限。文中提出一种结合状态预测的DRL信号控制算法。首先,利用独热编码设计简洁且高效的交通状态;然后,使用长短期记忆网络(Long Short-Term Memory,LSTM)预测未来的交通状态;最后,智能体根据当前状态和预测状态进行最优决策。在SUMO(Simulation of Urban Mobility)仿真平台上的实验结果表明,在单交叉口、多交叉口的多种交通流量条件下,与三种典型的信号控制算法相比,所提算法在平均等待时间、行驶时间、燃油消耗、CO2排放等指标上都具有最好的性能。
其他文献
镇安-旬阳盆地是南秦岭造山带内一处晚古生代断陷盆地,盆地中赋存有大量中低温热液型金、汞、锑矿床。这些矿床在空间上呈带状分布,盆地北部发育Au-Sb-Hg矿化,产出有金龙山、夏家店、二台子等金矿床和西坡岭、丁家山、石家山等汞锑矿床,盆地中部发育Hg-Sb-Au矿化,产出有公馆、青铜沟、落架、砂铜沟等汞锑矿床以及惠家沟和小河等金矿床。盆地内Hg、Sb元素既可以形成独立矿床,又能作为伴生元素出现在金矿床
秦巴山脉位于中国地理版图之中央,是中国地理版图上南北交汇、东西通联的核心地带,其作为中央水源涵养地、中央生物基因库以及中央生态安全屏障,自然地理环境优越,自然资源富集,衍生出了丰厚的文化遗产资源。汉中地处秦巴山脉腹地,是一座拥有数千年文明史、两千四百多年城市史的国家级历史文化名城,文化底蕴深厚,文化遗产不胜枚举,其中以两汉三国文化遗产资源最为显著,尤其是三国文化遗产资源在秦巴山区具有原发性与奠基性
目的探讨纤维连接蛋白(FN)修复慢性难愈性创面的疗效。方法选择在该院住院和门诊治疗的慢性难愈性创面患者40例,将其分为对照组和观察组,每组各20例,对照组在首次清创后,外用0.1%乳酸依沙吖啶纱条湿敷;观察组患者在首次清创后,外用FN皮肤抑菌液,两组患者创面其他处理相同。比较两组患者在第1、3、5周创面面积缩小率和愈合率,并对创面血供、颜色、气味、肉芽情况等方面进行综合评估。结果观察组患者的创面面
随着我国经济的发展,社会的进步,食品产业发展的相关问题也渐渐引起了人们的重视。在食品标准化概念已经得到明确的情况下,传统的食品产业发展理念已经无法满足现实需求,为了能够提升食品产业现代化水平,与时俱进,就必须要关注现有问题,合理对存在的不足进行完善,结合食品标准化概念不断促进食品产业的创新发展。目前还很少有学者关注这一问题,为此,本文研究了食品标准化概念下的中国现代化食品产业发展路径,希望能够对行
食品安全问题一直是全社会高度关注的重点问题,因此相关部门对食品质量安全的监管至关重要。快速检测技术因其检测时间短、操作简单、分析方法快速准确等优势成为食品质量安全监管的重要工具,被广泛应用于重大活动食品安全保障及应急事件处理中。本文主要对食品快速检测技术的概况及其在食品质量安全监管中的应用与质量控制进行分析,以期为食品安全监督管理者提供帮助。
高效液相色谱仪是食品检测中的常用仪器,具有应用范围广、成本低廉、操作简单、灵敏度低、检测时间短和结果准确、可靠等优点,是检测食品添加剂、真菌毒素、农兽药残留、有效成分和营养成分的重要工具。本文简述了高效液相色谱仪在食品检测中的应用,并对食品检测中的重要环节进行探讨,为食品检测提供参考依据。
在教育观念和教育技术不断进步和发展的时代背景下,教师在教学过程中所采用的方式方法,与学生最终的学习效果,有着十分紧密的联系,但是对于学生来说,探究式教学模式似乎是能够提高学习自主性和学习质量较为有效的途径。在探究式教学模式下,学生在学习过程中的主动性可以得到切实有效的发挥,整体教学质量也会实现较大的提升和改进。但是在智慧教育技术不断发展的情况下,教师该如何进行探究式教学模式的应用,一直是一个值得深
岩石圈地幔记录了深部地质过程的重要信息,在岩石圈演化过程中扮演着关键的角色。因此,研究岩石圈地幔的性质和演化过程对于理解地球大陆的形成与发展至关重要。为了进一步探索华北克拉通西北部岩石圈地幔属性及演化过程,本文选取内蒙古四子王旗地区新生代玄武岩中携带的橄榄岩和辉石岩捕虏体,对其进行系统的岩相学、单矿物主量元素、单矿物微量元素和原位Sr同位素等分析测试,以期揭示该区橄榄岩和辉石岩捕虏体的岩石成因,进
利用Q学习发展出的D3QN模型来实现交通信号控制智能体,模型采用离散交通状态编码的状态集,将交叉口处车辆的位置-速度二维矩阵图经过卷积网络层进行特征提取,以捕捉更精确、完整的交叉口信息。分别基于相位切换策略和马尔科夫决策过程型(Markov decision process,MDP)动作策略,利用SUMO交通仿真软件进行模拟训练。结果表明,与传统的定时定序信号灯控制策略相比,相位切换策略下车辆的平