基于深度强化学习的区域边界交叉口信号控制

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:ssqjwz
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着城市化进程加快,城市交通拥堵问题已由节点,干线扩展为整个区域,区域控制对于城市交通拥堵改善具有重要意义。宏观基本图是反映区域交通流量、密度和速度关系的图形,可作为区域通行效率的评判依据。利用宏观基本图在拥堵区域边界对进出区域的车流量进行调控(即边界控制),从而改善城市中心区域的拥堵,是当前宏观交通控制领域的热点。交叉路口的信号灯控制,是从微观角度实现区域边界控制的重要途径。当前多数信号控制方法基于历史数据调整信号配时,在动态适应交通状态方面仍存在不足。基于深度强化学习的信号控制具有自学习、适应于随机交通环境的特点,相比于传统信号控制更具优势。因此,本文基于宏观基本图进行交通子区之间流量控制,在此基础上,将深度强化学习算法应用于区域边界路口信号灯配时优化,通过仿真验证本文提出的宏微观结合的边界控制策略的有效性。主要研究内容包括:首先,基于模型预测控制框架的宏观边界控制参数求解。针对两区域交通系统,建立以边界车辆放行比例为控制参数,以区域完成流最大化为目标的区域边界控制模型。利用区域边界控制模型预测交通系统未来一段时间的状态,随后借助遗传算法优化控制参数,将优化后的控制参数作为微观交通仿真模型的输入,通过递阶控制策略提高路网整体的通行效率。并将微观交通仿真模型的当前状态反馈给区域边界控制模型。其次,基于深度强化学习的交叉口微观信号方案求解。建立子区边界路口信号控制模型描述城市边界交叉口车辆运行过程,基于该模型构建深度强化学习智能体的交互环境。同时将边界路口进口道等待车辆数与预期转移车辆数(即宏观控制参数与转移流的乘积)构造为状态空间,给定信号控制方案作为动作空间,并根据边界路口实际转移值与预期转移值设计奖赏函数。深度强化学习算法通过最大化累计奖赏函数实现边界路口实际转移车辆数与预期值尽可能接近。随后,通过深度Q网络与近端策略优化算法进行多场景比较,实验表明近端策略优化算法在收敛效果以及收敛速度方面均表现更好。最后,利用交通仿真软件SUMO搭建3’6的虚拟交通路网,利用该软件TraCI接口获取仿真路网的宏观基本图作为评价工具。随后,构造区域边界交叉口信号控制仿真模型作为深度强化学习智能体的交互环境。智能体通过观察交叉口进口道的车辆状态进行动态信号相位切换,从而在边界上控制车流的进出,以保证路网中的车辆数尽可能处于最佳值附近。实验结果表明区域拥堵状态有所缓解。
其他文献
当前红色文化学习浪潮正盛,对红色资源、红色基因、红色精神的保护和传承发扬需求愈发迫切,从历史底蕴到形势政策,对四平红色文化资源的挖掘、开发、利用、融合研究与实践都迎来了最好的发展机遇期。通过开展调查研究,全面把握全媒体时代四平红色文化传播现状,深入探索全媒体时代四平红色文化传播与大学生思想政治教育融合路径,从而实现四平红色文化传播与大学生思想政治教育实效提升的双促进。
巡游出租车作为城市出行极为重要的交通工具,由于其快捷、便利、灵活等特点,已成为城市居民日常出行方式中不可或缺的组成部分。随着城市行政区域的不断扩大以及人们生活水平的不断提高,达州市主城区的巡游出租车行业也得到了快速发展,在方便当地群众出行、提高就业率等方面都发挥着极其重要的作用。然而,随着行业的发展,新旧矛盾的不断累积,该地区的巡游出租车行业管理及背后存在的深层次问题日益凸显。尤其是近年来发生的出
文章针对高中语文大单元教学的开展情况,从大单元教学的概述、高中语文大单元教学存在的问题、高中语文大单元教学的优化策略等几个方面进行论述。实践证实:在高中语文大单元教学过程中重视学生学科核心素养的发展,有助于激活语文实践课堂,帮助学生构建完整的知识体系,促进学生的全面发展。
当前教育背景下,已经逐步将增强学生爱国主义家国情怀,深化学生民族精神,以及学生学科核心素养培养作为当前的教育重点。历史课程作为培养学生家国情怀的主要学科之一,教师必须充分发挥自身的知识引导作用,为学生还原真实、完整的历史事件,培养学生的爱国主义意识与家国情怀。
校史资源是校园文化建设的组成部分,是社会实践教育的特色资源,也是高校长足发展的动力源泉。将校史资源运用于大学生思想政治教育是立德树人的重要途径,具有不可忽视的隐形教育功能。新时代,以“校史+思政”德育模式优化多维立体育人结构,既有利于增强思想政治教育的针对性,又能提高德育育人的实效性。
在语言教学中,读后续写具有良好的促学效果,如何强化学习者与输入之间的互动,将读后续写产生的协同效应最大化,值得进一步探索。本研究考察了输入强化对读后续写中协同效应的影响。59名被试完成一项读后续写任务,但实验组所阅读的文本经过输入强化处理,对照组所阅读的文本未经任何处理。结果显示,输入强化增加了学习者对语言形式的注意程度,加大了语言层面的协同效应,有效地提高了语言运用的准确度,但不能显著提高学习者
在新一轮的教育教学改革工作中,教师们正在慢慢转变自己的教育教学理念以及方式,所以初中语文的教学由传统一课一教的教学模式转化成了当前单元整合的教学,这意味着教师需要训练学生们的群文阅读能力,确保学生们语文学习效率的提升,这样才能保证他们语文核心素养的进一步提升。基于此,文章将对当前初中语文单元整合教学工作状况展开探讨,然后提出一些建议以供参考。