基于深度Q-Learning的交通信号灯控制配时优化研究

来源 :安庆师范大学 | 被引量 : 1次 | 上传用户:greatkinghg
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
合理的交通信号配时对提升交通系统运行效率至关重要,体现在改善交通流量、节省燃油、减少车辆排队长度、提高驾驶员驾驶体验等方面。随着时代发展和交通容量的不断扩大,传统交通管理系统亟待改进,需要更高效的交通配时算法来提升环保节能、缓解道路拥塞、从而更好的促进城市经济发展。目前研究中已提出了多种交通信号配时方案:有传统的固定配时的方案,这种方案虽然简单易行,已不能满足当前的需要;有通过各种进化算法来优化交通配时,曾经取得了很好的成果,但目前处于瓶颈阶段难以突破;近年来,通过融合特征学习和智能决策的方式来提升交通系统性能研究,展示了极好的研究前景。本文基于这种思想,在深度强化学习(DQN)框架下对交通信号配时问题做了进一步探索,主要的研究内容和创新点如下:(1)本文针对交通信号控制系统的奖励机制进行了改进,将所有路口共享奖励的机制改进为每个交叉口共享唯一的奖励,这种单一化奖励机制增强了各个路口间的独立性,从而有效提升了交通控制系统的性能。(2)本文通过将密集采样策略与多路交叉口信号控制相结合,这种方式在一定程度上提高了控制系统的鲁棒性。(3)针对实验涉及的相应参数进行了优化,通过合理的参数设置,减少实验的偶然性,从而提高控制系统的稳定性。最终,为了保证研究的可靠性与客观性,文中所有的仿真实验都是基于当前国际主流交通模拟软件(Simulation of Urban MObility,SUMO)来完成。实验结果表明:相较于传统交通信号强化学习方法,结合密集采样和单一化奖励机制策略后的深度强化学习方法,对交通信号控制效果更佳。
其他文献
近年来,深度学习技术发展迅速,基于深度学习的目标检测技术已经落地应用在人脸识别、工业产品检测及安防系统等实际场景中。与此同时,企业对于移动端应用的需求也相应增加,这使得如何基于移动端进行深度学习目标检测受到了重视,研究人员也对此进行了大量研究。现阶段,在移动设备上进行深度学习有两种方式:一种是在线(online)的方式,另一种是离线(offline)的方式。在线方式依赖网络,具有很大局限性,因此,
学位
<正>国卫妇幼发〔2023〕1号各省、自治区、直辖市及新疆生产建设兵团卫生健康委、教育厅(教委、教育局)、民政厅(局)、财政厅(局)、医保局、中医药局、疾控主管部门、药监局、总工会、妇联:现将《加速消除宫颈癌行动计划(2022-2030年)》印发给你们,请结合实际,认真贯彻执行。
期刊
随着医疗技术进步以及人口数量的增加,医疗数据的数量越来越多,而大多数的医疗数据都保存在不同机构和个人手中。由于医疗数据不允许直接交换以及数据所有者不愿意共享等原因,形成数据孤岛,导致无法将数据汇集在一起进行机器学习训练,同时还存在由于医疗数据的非独立同分布导致机器学习训练准确率不高的问题。针对以上问题,本文设计并实现了在大数据环境和数据孤岛情况下的基于联邦学习框架的医疗辅助诊断系统。研究内容如下:
学位
传统的TCP/IP网络架构在可扩展性、安全性和移动性等方面存在缺陷,无法满足即时通讯用户对文件共享、音视频通话等内容获取的需求。命名数据网络(Named Data Networking,NDN)作为最具发展前景的未来互联网体系结构之一,实现了从IP为中心到内容为中心的转变。NDN支持网络内缓存,支持多播和多路径传输,这为多用户聊天等内容分发类应用带来优势。但目前NDN环境下多用户聊天系统的发展仍存
学位
目标检测是计算机视觉的一个重要分支,同时也是近几年的研究热点。其主要工作是在图像中找到所有感兴趣的目标,并判断出它们的类别,同时确定它们的位置。近年来,随着计算机视觉的快速发展,建立更深、规模更大的卷积神经网络成为计算机视觉任务的主要趋势。然而,大而复杂的模型难以被应用在计算能力有限的设备上。所以,目标检测模型的轻量化在计算受限的情况下变得至关重要。在当今流行的目标检测算法中,无锚框(Anchor
学位
机会网络由无线移动自组网发展而来。机会网络与传统无线自组网不同,源节点向目的节点转发消息时,无需在两者之间建立端到端的链路,而采用“存储—携带—转发”模式,利用节点移动和相遇完成数据的转发。这种无需建立端到端链接的通讯方式可以应用于无通信基础设施环境下的信息转发,例如灾难环境下的通信。由于节点移动具有不确定性,因此在通信过程中实现有效的路由策略变得尤为重要。由于机会网络节点的缓存空间和能量有限,路
学位
为了获得一种稳定的活性物包覆的纳米载体,以PolyAquol LW为非离子表面活性剂,丁二醇为助表面活性剂,霍霍巴油为油相;采用滴油法,以丁达尔现象作为澄清透明微乳液临界点判断的依据,绘制了PolyAquol LW/丁二醇/霍霍巴油/H2O的水包油(O/W)型微乳液的伪三元体系相图。根据伪三元相图,确定了水包油型微乳液的最佳制备条件;以脂溶性大麻二酚作为模型活性物,制备了大麻二酚微乳液。研究了大麻
期刊
伪装是自然界中的一种重要防御机制,它可以帮助一些物种隐藏在周围环境中,以避免引起其他物种的注意。这种机制也被广泛应用在人类生活中,例如服装设计和艺术创作。最近,从图像中识别并分割伪装物体,即伪装物体检测(Camouflaged Object Detection,COD),得到了计算机视觉领域的广泛关注。由于伪装物体与其周围环境之间具有高度的相似性,导致识别和分割伪装物体存在较大困难。此外,伪装物体
学位
传统分割方法通常拥有较好的对于图像边缘等低级特征的提取能力,超像素算法在众多的传统算法中,由于其过度分割的特质,在边缘信息的保持上有十分出色的表现。超像素是指通过将那些位置相邻且具有相似特性的像素聚合起来,形成的不规则的像素块。而基于卷积神经网络的图像语义分割任务中存在对浅层卷积提取的低级语义信息利用不足的问题。对此本文展开了结合超像素分割的图像语义分割网络研究。在仔细研究了语义分割的相关的内容后
学位
现阶段推进国内“双循环”模式是我国最新的发展方向。众所周知投资、消费、进出口是拉动经济的“三驾马车”,在此背景下,进出口明显受到巨大影响,又由于近年来投资的低迷,消费的作用越来越重要,它是一切经济活动的起点和终点,是拉动我国经济的第一驱动力。居民家庭是由每一个居民组成的,居民的消费情况又是由每个居民家庭消费情况决定的,居民的消费水平具体是由居民家庭的消费意愿、消费能力以及居民家庭的面临消费环境决定
学位